11月7日，由中國電子技術標準化研究院基于編制中的國家標準《人工智能具身智能大模型系統(tǒng)技術要求》正式發(fā)布了“求索”具身智能測評基準EIBench，同時邀請了多家國內頂尖具身智能團隊參與了首次測評。在本次測評中，北京人形機器人創(chuàng)新中心的XR-1模型成為了唯一一個通過測試的VLA模型，獲得CESI-CTC-20251103具身智能測試證書，也成為了全國首個獲此殊榮的VLA模型。
“求索”具身智能測評基準EIBench，是針對具身智能數(shù)據(jù)難復用、模型泛化性差、安全難保障等產(chǎn)業(yè)痛點推出的首個具身智能領域評測基準，聚焦數(shù)據(jù)格式、具身智能大模型、安全及可信賴度等，形成基于國家標準的測評指標體系。該標準在模型側主要面向VLA和VLM兩類具身智能大模型，這也代表著我國具身智能行業(yè)發(fā)展在規(guī)范化和標準化的方向上邁出了關鍵一步。
作為基于視覺、語言和動作等多模態(tài)數(shù)據(jù)集進行訓練的大模型，VLA能夠打破傳統(tǒng)具身智能系統(tǒng)中“感知-決策-執(zhí)行”的模塊分離局限，實現(xiàn)端到端閉環(huán)，同時借助大規(guī)模基礎模型的泛化能力，能夠實現(xiàn)跨任務、跨機器人和零樣本的適應能力；也因為VLA 模型能夠理解自然語言指令，可以使人與具身智能體之間的交互更加自然、高效。
根據(jù)介紹，EIBench在數(shù)據(jù)格式方面推動打造統(tǒng)一數(shù)據(jù)格式；其次，模型方面，形成了“三個一”的測評準則，分別是：
一條標準化流程，實現(xiàn)可復現(xiàn)的公平評測――建設了評測任務確定-訓練數(shù)據(jù)采集-模型定向訓練-任務真機測試-測試結果分析的標準化流程。
一個綜合任務庫，覆蓋多維度復雜場景――設置了“單臂操作”、“雙臂異步操作”和“雙臂協(xié)同操作”3種難度等級，覆蓋移動、放置、推、拉、傾斜、按壓、插入、旋轉等8類核心動作單元，全面考核模型基礎物理交互能力。
一套測試指標，量化模型綜合性能――建立了多維度量化指標體系，包括任務成功率、平均執(zhí)行用時、人工干預次數(shù)、危險操作次數(shù)及指令跟隨率等，全面覆蓋任務完成能力、執(zhí)行效率、自主可控性及安全可靠性等核心要求，反映模型在實際場景中的綜合性能表現(xiàn)。
最后，在安全方面，建立了包括可控性、魯棒性、可問責性、隱私保護、功能安全、韌性等14項一級指標，對具身智能系統(tǒng)安全可信水平的量化評估。
在測試中，XR-1共在天工2.0、UR、Franka等三款機器人上，針對取放、推拉、旋轉、插入等雙臂技能進行基礎測試，以及物體顏色、位置、姿態(tài)，環(huán)境亮度、色溫，背景、干擾物等七大維度的泛化測試，一致通過。每項測試定量采集40-50條少量數(shù)據(jù)，在每個任務每項測試維度進行10次以上的真機測試，測試全程由中國電子技術標準化研究院專家參與，在流程設計和實際執(zhí)行層面均做到了標準化公平可復現(xiàn)。
上述結果得益于XR-1在VLA模型幾個關鍵技術上的突破創(chuàng)新，作為北京人形不久前發(fā)布的跨本體VLA模型，XR-1通過積累超百萬量級的自有多本體數(shù)據(jù)，采用首創(chuàng)的多模態(tài)視動統(tǒng)一表征學習，有效利用各類機器人操作數(shù)據(jù)和海量互聯(lián)網(wǎng)視頻數(shù)據(jù)。在此基礎上，XR-1利用多模態(tài)視動統(tǒng)一表征訓練、跨本體主網(wǎng)絡訓練和特定場景微調三階段訓練范式，實現(xiàn)機器人跨本體的通用操作知識積累和特定場景的多任務快速學習。在多種機器人本體上大量真實環(huán)境測試，實證了該方法的多本體、多技能、多任務、穩(wěn)健泛化能力，以及其在快速掌握新技能上的巨大潛力。
并且以XR-1為基礎，北京人形也加強了“慧思開物”平臺快速構建面向各類場景任務的通用技能庫，實現(xiàn)多本體、多場景、多任務的能力，顯著減少了具身智能應用開發(fā)的成本與用時，打通了具身智能技術走向大規(guī)模產(chǎn)業(yè)應用的關鍵路徑。
本次XR-1成為唯一通過測試的具身VLA模型，具有著里程碑式的意義。標準確立后，能夠推動具身智能產(chǎn)業(yè)生態(tài)的良性發(fā)展和可持續(xù)創(chuàng)新，北京人形機器人創(chuàng)新中心未來將繼續(xù)以技術突破與產(chǎn)業(yè)實踐，推動具身智能加速邁向“最聰明和最好用”的新高度。
