新聞 > 科教 > 正文

機器人開始學會「三思而後行」?

機器人家務到底做得怎麼樣了,距離真正解放我們的雙手還有多遠?擰燈泡、撕廚房紙、抽出疊放紙杯,對人類輕而易舉,但在具身智能領域,如何讓機器穩定完成這些看似簡單的操作,一直是個難題。

過去幾年,機器人基礎模型逐漸從針對單項任務訓練,轉向利用視覺、語言和動作數據學習通用策略。視覺語言動作模型(VLA)可以根據畫面和指令輸出動作,世界模型則嘗試預測動作執行後環境將如何變化。

但如果機器人最終要進入工位、廚房和家庭,它需要追趕的或許不只是人類「完成動作」的能力。人類已經積累了海量與現實世界交互的經驗,從怎麼看物體、怎樣用手,到接觸失敗後如何調整。如何讓模型、訓練數據和機器人本體都圍繞這些經驗共同演進,正在成為具身智能的一條重要路線。

9月10日,生數科技聯合創始人、執行長(CEO)駱怡航在2026外灘大會發布 Motus2。該模型由生數科技研究團隊與清華大學共同完成,面向高自由度靈巧操作,已在採用 WUJI Hand2、Sharpa Wave等靈巧手的雙臂機器人上測試。

Motus2給出的技術路線,正可從人與模型、數據和硬體關係理解。它用共享模型連接動作生成、後果預測和價值評估,從約13萬小時人類第一視角視頻中提取操作先驗,再用機器人軌跡完成本體適配。在執行端,雙目視覺、工作記憶和觸覺傳感分別補充深度、歷史與接觸信息。

其核心變化,是讓機器人在行動前「多想一步」,並把想像結果變成學習信號。前代 Motus已聯合建模視頻與動作,Motus2再加入價值模型,提出動作、預測後果並判斷其是否接近目標。反饋既篩選當次動作,也用於更新策略。

給動作後果打分

如果想讓機器人自主完成任務,那麼首先需要回答一個問題:根據當前觀測和任務指令,下一步應該執行什麼動作。

工業機器人通常依賴預設軌跡、狀態機或人工設計的規劃器,在工位、物體位置和流程高度確定時穩定有效。一旦物體形態、擺放方式或任務指令發生變化,規則與軌跡往往需要重新設計。

近年來,模仿學習和視覺語言動作模型從示範數據中學習「觀測—動作」映射,提高了任務泛化能力。但這類方法更擅長復現已有行為,通常缺少對動作後果及其任務價值的顯式判斷。

世界模型由此提供另一種思路。它不急於把動作送給真實機器人,而是根據當前觀測和候選動作,先預測未來幾幀環境可能發生什麼變化。近年來,DreamDojo、Ctrl-World等研究都在探索動作條件世界模型,機器人因此獲得一個近似的內部模擬器。

此前,生數科技發布的 Motus已在統一潛在動作世界模型中連接視頻預測和動作生成。它既可作為世界動作模型(WAM),根據語言指令、當前觀測和視覺歷史生成動作,也可作為動作條件世界模型(AC-WM),在給定動作後預測未來視覺狀態,分別回答「下一步做什麼」和「執行後會發生什麼」。

不過,「能想像未來」仍不等於「知道哪個未來更好」。機器人還需要依據人類設定的任務目標,在多個可能結果中判斷哪一種更值得執行。

為此,Motus2在這套結構中增加了價值模型(VM):類似人類在行動前權衡不同選擇及其後果的思維,機器人需要根據動作及其結果評估任務進展,通過價值模型判斷「這個結果是否更接近目標」。

圖|Motus2整體架構:共享模型統一策略、模擬與評估,觸覺模塊進一步支持動作

但要讓同一個模型兼顧動作、預測和評價,還必須確保三類信息按照真實行動順序流動,不能讓機器人在訓練時「偷看答案」。

假如模型在生成動作時讀取到了執行這個動作以後才出現的畫面,相當於利用了現實部署時不存在的未來信息,訓練結果則難以在實際部署中復現。

因此 Motus2採用動作優先(Action-first)的資訊流,讓動作只讀取此前信息,未來視頻讀取動作,價值評估再讀取動作和預測結果,以保證動作生成過程符合真實部署時的因果順序。

在此基礎上,預測和評價結果進入兩條路徑。一條用於推理階段的當次動作選擇,另一條用於訓練階段的長期策略更新。

具體而言,在推理階段,模型通過 Best-of-N規劃生成多個候選動作,分別預測其後果並評分,再選擇較優方案執行。完成一個動作片段後,機器人重新獲取真實環境中的觀測,隨後開始下一輪規劃。這種方式僅改變本次動作選擇,但不會更新參數。

第二種發生在訓練階段。Motus2通過引入基於模型的強化學習(MBRL),可以將模擬器預測的未來和評估器給出的價值轉化為策略更新信號:高價值方案得到更強引導,低價值動作逐漸減少。這意味著,世界模型預測出的未來不再只用於展示,也能反過來影響動作策略,使模型以後更容易生成有利於完成任務的方案。

另外,區別於主要依賴高質量成功示範進行行為克隆的訓練方式,失敗數據在此體系中也獲得了新的用途。例如,經過篩選的成功示範可以直接監督動作學習;失敗和次優軌跡雖然不適合作為模仿目標,卻可以用於學習動作導致的環境變化,並為價值模型提供「哪些結果偏離任務目標」的判斷依據,間接參與策略優化。

研究團隊在放置手機和多指操作兩項真機任務中,分別進行了每項20次閉環測試。基礎策略的平均成功率為65%,單獨加入規劃後達到67.5%,單獨加入 MBRL後達到72.5%,同時使用兩種機制後達到75%。

從對照結果看,推理時規劃使成功率提高了2.5個百分點,MBRL帶來的提升為7.5個百分點。二者結合後較基礎策略共提高10個百分點,說明在這兩項任務中,更新策略產生的作用更明顯,而規劃可以在此基礎上進一步改善當次動作選擇。

如何學習13萬小時的數據

在搭好了行動、預測和評價框架後,下一道門檻是數據。

靈巧手單手可有20個以上自由度,遙操作採集既需要設備、操作者和標定,也要承擔磨損與安全成本。因此,如何獲得足夠豐富的操作數據,並將其擴展至不同任務和機器人本體,成為訓練靈巧操作模型的一大難題。

目前,業內常見的數據擴展路徑包括大規模機器人遙操作、仿真生成與從人類視頻中提取先驗。其中,機器人數據最接近部署本體,卻昂貴且覆蓋有限;仿真便於批量試錯,但接觸、材質和傳感噪音與現實仍有差距。網際網路或第一視角視頻規模更大,卻通常缺少可直接執行的機器人動作標籤。

為緩解高質量機器人數據稀缺、不同數據源又難以直接對齊的問題,Motus2採用了分層的數據擴展路徑,先從人類第一視角視頻中學習操作經驗,再逐步遷移到機器人。

其數據體系包含約13萬小時原始錄影,訓練依次使用單目視頻、同步雙目視頻與人類動作,最後加入機器人軌跡和人機對應數據。

圖|人類數據金字塔:從大規模視頻中的操作經驗,逐步連接到真實機器人動作

論文披露的第一視角語料約13萬小時,其中超過11萬小時為單目數據,覆蓋多種物體、場景和人類操作行為,幫助模型學習較廣泛的視覺知識及狀態變化。

第二階段引入約1.74萬小時同步雙目素材。左右視角不僅增加畫面數量,更提供視差形成的隱式深度線索,並支持更準確的三維手部姿態估計,使模型進一步學習手與物體之間較細粒度的空間關係。

不過,由於人手與靈巧手在關節數量、尺寸、活動範圍和控制接口上並不一致,,若把人類姿態生硬映射到機器人關節,輕則動作變形,重則產生自碰撞或無法形成有效抓握。

為跨越這道「本體鴻溝」,Motus2使用數十小時人機對齊數據,以及包含機器人軌跡在內、總計超過100小時的中間訓練數據。此後,模型還要通過目標任務數據完成後訓練,才能把人類操作經驗轉化為特定機器人可以執行的動作。

五項真機任務中,僅經人類數據預訓練的模型平均成功率為51%,加入機器人域中間訓練後升至84%。放置小球和貼合橡皮為100%,擰燈泡90%,多指操作70%,放置手機60%。人類視頻提供操作先驗,機器人數據仍負責動作落地。

圖|在2,000至20,000小時的實驗範圍內,雙目數據規模增加對應更低的人類動作預測誤差。

此外,團隊還用2,000至20,000小時雙目數據比較人類動作預測誤差。數據增加時,最優誤差持續下降,並在測量範圍內與數據時長的對數近似線性。但該指標是留出集上的人類動作預測,並非真機成功率,也不能推出擴張會無限保持同樣收益。

因此,「以人為牽引」並不等於讓機器人照搬人。更準確的說法是,先用人的視角和動作擴大模型對物理交互的認識,再用少量但更昂貴的對齊數據、機器人軌跡和目標任務數據逐級校正。數據路徑要與模型接口匹配,而能否遷移又受到硬體形態約束,模型、數據與硬體在這裡形成了相互制約的三角。

補全記憶與觸覺

完成本體適配後,機器人仍不等於擁有人的操作能力。有些任務依賴已經發生的歷史信息,另一些則取決於手指與物體間的實時接觸,僅憑當前畫面難以準確判斷。

一般而言,業內會選擇以擴大視覺上下文、壓縮歷史為記憶標記,或引入力覺和觸覺傳感來補足信息。但前者將面臨歷史完整度與計算量的取捨,後者則要處理採樣頻率、噪音、傳感器形態和模型融合成本。

為此,Motus2分別引入工作記憶與觸覺專家,使機器人能夠調用此前觀測,並根據最新觸覺反饋調整動作。

尋找隱藏方塊時,機器人先要記住方塊進入哪只杯子,再經歷杯子移動和遮擋。固定滑動窗口開銷不隨任務時長增長,但早期線索會被逐出上下文。Motus2比較了保留完整歷史的全局自回歸,以及把中間歷史壓縮成標記的混合記憶。

測試結果顯示,在尋找隱藏方塊和依據歷史提示按鍵兩項測試中,全局自回歸在仿真環境中的平均成功率為78%,混合記憶為52%。轉移到真機後,兩者分別為57.5%和25%。這意味著,在兩項測試中,直接讀取完整歷史比壓縮歷史信息更有利於完成任務。

這些結果也反映出記憶方式需要在信息完整度與運行成本之間取捨。完整歷史能夠保留更多線索,也會增加上下文長度和計算開銷。同時,真機成功率低於仿真結果,表明真實環境中的視覺變化、遮擋和執行誤差仍會影響歷史信息的調用。

圖|Motus2九項真機演示

觸覺處理的是另一種不可見信息。抽取疊放紙杯時,夾得太松會滑落,太緊則可能帶出下層紙杯。撕紙時,雙手的受力位置和方向持續變化。攝影頭通常要等物體發生明顯位移後才能確認失誤,指尖傳感器卻能更早捕捉接觸力和形變。

若讓完整策略模型隨每次觸覺更新重新推理,高頻傳感會帶來延遲。因此,Motus2沿用 T-Rex的觸覺響應思路,設置輕量觸覺專家,主模型生成動作片段並緩存特徵,每個短片段執行前,專家讀取最新觸覺,對尚未執行的動作作最後修正。

這一分工體現了模型與硬體的協同。主幹負責較低頻的全局語義和動作規劃,觸覺專家處理高頻、局部的接觸變化。訓練時還預測動作後的真實力信號,幫助模型學習接觸如何演化,部署時則只輸出修正後的動作,避免每一步都重新運行大模型。

在抽取紙杯和撕紙兩項任務中,加入觸覺後平均成功率從60%升至72.5%。其中抽取紙杯由65%升至75%,撕紙由55%升至70%。這組消融實驗支持了觸覺對精細接觸操作的作用,但範圍仍限於兩項任務與特定平台,不能視作對所有材料和操作的普遍結論。

上述測試使用了單手20自由度的 WUJI Hand2和單手22自由度的 Sharpa Wave等平台。

圖|生數科技提出的通用世界模型五級演進路線

此外,生數科技還提出了通用世界模型(GWM)五級路線,以描述通用世界模型從生成環境走向自主行動的能力演進。五級路線依次為 L1「生成世界」、L2「與世界交互」、L3「在世界中行動」、L4「自主世界智能體」和 L5「世界組織者」。

按此框架,Motus2已掌握 L3「在世界中行動」的關鍵能力:既能理解當前狀態,也能預判行動後的未來,還能生成可執行的真實機器人動作。更進一步,它把 Evaluation與 Feedback明確接入閉環,形成「行動→預測→評估→反饋→再學習」的循環。

由此,這一機制初步展現出類似 RSI(Recursive Self-Improvement,遞歸自我改進)的特徵:模型會藉助自身對世界的預測和評估結果,反向優化行動策略。

世界模型開始擁有一定的自我演進能力,也是生數為從 L3邁向 L4「自主世界智能體」的一次重要探索。

值得注意的是,Motus2始終「以人為牽引」進行技術疊代,進一步印證了人類經驗在機器人能力演進中的重要性。未來,若要繼續邁向長期自主決策,仍需更可靠的預測、跨本體評測和規模化觸覺採集,也取決於模型、數據與硬體能否協同演進。

阿波羅網責任編輯:李華

來源:MIT科技評論

轉載請註明作者、出處並保持完整。

家在美國 放眼世界 魂系中華
Copyright © 2006 - 2026 by Aboluowang

免翻牆 免翻牆連結