AgiBot World Colosseo：構(gòu)建通用機(jī)器人智能的規(guī)?；瘮?shù)據(jù)平臺(tái)隨著人工智能在語言處理和計(jì)算機(jī)視覺領(lǐng)域取得突破，機(jī)器人技術(shù)仍面臨現(xiàn)實(shí)場景泛化能力的挑戰(zhàn)。這一困境的核心在于高質(zhì)量機(jī)器人數(shù)據(jù)的匱乏，制約了通用操縱能力的突破。上海人工智能實(shí)驗(yàn)室與AgiBot公司聯(lián)合研發(fā)的AgiBot World Colosseo平臺(tái)，通過構(gòu)建大規(guī)模、多模態(tài)的真實(shí)世界數(shù)據(jù)集與通用政策模型，為機(jī)器人學(xué)習(xí)領(lǐng)域開辟了新的范式。

論文下載：*附件：論文 AgiBot World Colosseo Large-scale Manipulation Platform.pdf

一、規(guī)?；瘮?shù)據(jù)平臺(tái)：從實(shí)驗(yàn)室到真實(shí)世界的跨越

傳統(tǒng)機(jī)器人數(shù)據(jù)集（如RoboNet、BridgeData）受限于場景單一性和硬件異構(gòu)性，難以支撐復(fù)雜任務(wù)的泛化學(xué)習(xí)。AgiBot World Colosseo以4000平方米的實(shí)體設(shè)施模擬家庭、工業(yè)、餐飲等五大真實(shí)場景，部署100臺(tái)AgiBot G1雙臂人形機(jī)器人，累計(jì)采集超100萬條軌跡數(shù)據(jù)（時(shí)長2976小時(shí)），涵蓋217項(xiàng)任務(wù)和87種技能。這一規(guī)模較現(xiàn)有數(shù)據(jù)集（如Open X-Embodiment的240萬條軌跡）雖在數(shù)量上相近，但AgiBot World通過標(biāo)準(zhǔn)化采集流程與“人在回路”驗(yàn)證機(jī)制，保證了數(shù)據(jù)的高質(zhì)量與場景的真實(shí)性。例如，工業(yè)場景中機(jī)器人需協(xié)作完成零件裝配，餐飲場景則涉及餐具精細(xì)化操作，這些任務(wù)均需結(jié)合視覺、觸覺與語言指令的多模態(tài)交互。

二、數(shù)據(jù)質(zhì)量與多樣性：構(gòu)建通用智能的基石

AgiBot World的數(shù)據(jù)優(yōu)勢體現(xiàn)在三個(gè)維度：

**1. ** 硬件標(biāo)準(zhǔn)化 ：統(tǒng)一采用配備全身控制、靈巧手與視觸覺傳感器的AgiBot G1機(jī)器人，消除硬件差異對(duì)政策泛化的影響。

**2. ** 任務(wù)設(shè)計(jì)多樣性 ：涵蓋從工具使用到多機(jī)器人協(xié)同的復(fù)雜長時(shí)序任務(wù)，例如“整理零售貨架”需機(jī)器人識(shí)別商品類別、規(guī)劃路徑并避免碰撞。

**3. ** 人類反饋閉環(huán) ：由專業(yè)操作員通過遠(yuǎn)程操控生成示范數(shù)據(jù)，并通過實(shí)時(shí)驗(yàn)證修正錯(cuò)誤，確保每條軌跡的有效性。此外，平臺(tái)特意保留失敗恢復(fù)數(shù)據(jù)（標(biāo)注錯(cuò)誤狀態(tài)），為政策魯棒性訓(xùn)練提供素材。

這一體系使得AgiBot World在數(shù)據(jù)質(zhì)量上顯著超越同類項(xiàng)目。例如，DROID雖通過眾包擴(kuò)展場景多樣性，但因缺乏質(zhì)量把控，政策性能在真實(shí)場景中表現(xiàn)不佳；而AgiBot World通過標(biāo)準(zhǔn)化流程與人工審核，將成功率提升至60%以上。

三、Genie Operator-1：基于潛在動(dòng)作的通用政策框架

為解決現(xiàn)有機(jī)器人模型依賴特定數(shù)據(jù)集的問題，AgiBot World團(tuán)隊(duì)開發(fā)了Genie Operator-1（GO-1）政策。該框架創(chuàng)新點(diǎn)在于：

**● ** 潛在動(dòng)作規(guī)劃 ：通過將人類視頻與機(jī)器人數(shù)據(jù)統(tǒng)一映射至潛在動(dòng)作空間，實(shí)現(xiàn)跨模態(tài)知識(shí)遷移。

**● ** 分層學(xué)習(xí)架構(gòu) ：底層采用預(yù)訓(xùn)練的視覺語言模型（VLM）處理環(huán)境感知，上層通過強(qiáng)化學(xué)習(xí)優(yōu)化序列決策。

**● ** 可擴(kuò)展訓(xùn)練 ：利用AgiBot World數(shù)據(jù)集的規(guī)模優(yōu)勢，政策性能隨數(shù)據(jù)量增加呈線性提升，較基準(zhǔn)方法（RDT）提升32%。

實(shí)驗(yàn)表明，在復(fù)雜長時(shí)序任務(wù)（如“制作咖啡”）中，GO-1成功率達(dá)63%，遠(yuǎn)超傳統(tǒng)方法。同時(shí)，僅使用AgiBot World 10%數(shù)據(jù)預(yù)訓(xùn)練的模型，在泛化性能上仍比Open X-Embodiment提升18%，驗(yàn)證了數(shù)據(jù)集的高效性。

四、開放生態(tài)與未來展望

AgiBot World通過開源數(shù)據(jù)集、工具鏈與預(yù)訓(xùn)練模型，推動(dòng)機(jī)器人研究向“通用智能”邁進(jìn)。其貢獻(xiàn)不僅在于構(gòu)建目前最大規(guī)模的雙臂機(jī)器人學(xué)習(xí)平臺(tái)，更通過標(biāo)準(zhǔn)化流程為行業(yè)樹立了數(shù)據(jù)質(zhì)量標(biāo)桿。當(dāng)前局限在于評(píng)估仍依賴真實(shí)場景，團(tuán)隊(duì)正開發(fā)仿真環(huán)境以加速政策迭代。未來，該平臺(tái)有望在家庭服務(wù)、工業(yè)自動(dòng)化等領(lǐng)域催生更魯棒的機(jī)器人應(yīng)用。

AgiBot World Colosseo的突破揭示了規(guī)模化數(shù)據(jù)與標(biāo)準(zhǔn)化方法在機(jī)器人技術(shù)中的核心價(jià)值。通過構(gòu)建真實(shí)世界的“數(shù)據(jù)羅馬斗獸場”，這一平臺(tái)正將機(jī)器人從單一任務(wù)執(zhí)行者轉(zhuǎn)變?yōu)榫邆浞夯芰Φ闹悄荏w，為通用機(jī)器人智能的落地奠定關(guān)鍵基石。

參考
AGIBOT 世界
GitHub - OpenDriveLab/AgiBot-World: The Large-scale Manipulation Platform for Scalable and Intelligent Embodied Systems
OpenDriveLab | Robotics and Autonomous Driving at HKU, AI Lab, and beyond