過(guò)去要 30 天機(jī)器人遙操作，現(xiàn)在只要戴上一副眼鏡走一走。 當(dāng)機(jī)器人的數(shù)據(jù)接口從實(shí)驗(yàn)室搬到日常生活，制約 scale 的瓶頸就不再是數(shù)據(jù)量，而是數(shù)據(jù)接口本身。

HumanEgo 總覽：人類戴 Aria 眼鏡采集第一人稱視頻（左），轉(zhuǎn)化為交互中心表征并訓(xùn)練 flow matching 策略（中），策略零樣本遷移到機(jī)器人——不受環(huán)境、相機(jī)、本體限制（右）。

視覺(jué)-語(yǔ)言大模型這幾年的成功，本質(zhì)上吃的是一個(gè)廉價(jià)、可無(wú)限擴(kuò)展的數(shù)據(jù)接口——互聯(lián)網(wǎng)。任何人寫(xiě)博客、拍照片，都在為下一代大模型喂數(shù)據(jù)。

但機(jī)器人學(xué)習(xí)一直沒(méi)有這樣的接口。當(dāng)前 SOTA 操作策略依賴機(jī)器人遙操作（teleoperation）數(shù)據(jù)：專業(yè)操作員通過(guò)控制器遠(yuǎn)程操作機(jī)器人，把每一次抓取、放置手動(dòng)"演示"給機(jī)器人。這條路又貴又慢，必須在裝備齊全的實(shí)驗(yàn)室里完成，而且數(shù)據(jù)和機(jī)器人硬件強(qiáng)耦合——換一個(gè)機(jī)器人、換一個(gè)工作站，數(shù)據(jù)幾乎完全不能復(fù)用。

最近一年，學(xué)界開(kāi)始嘗試把人類第一人稱視頻當(dāng)作機(jī)器人的訓(xùn)練數(shù)據(jù)，從 EgoMimic、EgoZero 到 AINA，不同團(tuán)隊(duì)都在探索這條路。但已有工作大多沿著兩條路線展開(kāi)：要么用人類視頻與機(jī)器人數(shù)據(jù)做協(xié)同訓(xùn)練（co-training），要么先在數(shù)千小時(shí)視頻上做大規(guī)模預(yù)訓(xùn)練——兩者都還沒(méi)有完全擺脫對(duì)機(jī)器人數(shù)據(jù)的依賴。一個(gè)自然的問(wèn)題隨之而來(lái)：一個(gè)普通人，只拿一副智能眼鏡、幾分鐘視頻，能不能直接訓(xùn)練出一個(gè)可部署的機(jī)器人策略？

來(lái)自馬里蘭大學(xué)（UMD）的團(tuán)隊(duì)提出新框架HumanEgo，給出了肯定的答案：

只用 30 分鐘人類第一人稱視頻，不需要任何機(jī)器人數(shù)據(jù)、不需要針對(duì)機(jī)器人的后訓(xùn)練、不需要互聯(lián)網(wǎng)級(jí)預(yù)訓(xùn)練，就能在 4 個(gè)真實(shí)世界雙手協(xié)作任務(wù)上達(dá)到92.5%成功率，并零樣本遷移到不同機(jī)器人、相機(jī)與場(chǎng)景。

值得一提的是，HumanEgo 一經(jīng)公開(kāi)便在社區(qū)引發(fā)廣泛關(guān)注：X（推特）相關(guān)討論帖瀏覽量已接近10 萬(wàn)，開(kāi)源代碼在短短數(shù)日內(nèi)收獲230+ GitHub star，不少研究者留言希望復(fù)現(xiàn)這套從人類視頻學(xué)習(xí)的流程。

• 論文標(biāo)題：
• HumanEgo: Zero-Shot Robot Learning from Minutes of Human Egocentric Videos
• 作者團(tuán)隊(duì)：
• Zhi (Leo) Wang, Botao He, Kelin Yu, Seungjae Lee, Ruohan Gao, Furong Huang, Yiannis Aloimonos（University of Maryland）
• 論文鏈接：
• https://arxiv.org/abs/2605.24934
• 項(xiàng)目主頁(yè)：
• https://humanego-ai.github.io
• 代碼倉(cāng)庫(kù)：
• https://github.com/TX-Leo/HumanEgo
• 完整視頻：
• https://www.youtube.com/watch?v=pdL46diijuY

為什么"人類視頻"這么難直接拿來(lái)用？

讓普通人戴上 Meta Aria 這類智能眼鏡，就能在廚房、車(chē)間、辦公室里采集帶 6-DoF 頭部軌跡和 3D 手部關(guān)鍵點(diǎn)的高質(zhì)量視頻。但人類視頻要直接訓(xùn)練機(jī)器人，橫亙著兩道難關(guān)：

其一，跨形態(tài)的表征鴻溝（embodiment gap）。 人手和機(jī)器人夾爪在視覺(jué)外觀和運(yùn)動(dòng)學(xué)上都不同：人手有 21 個(gè)關(guān)節(jié)、會(huì)自遮擋；機(jī)器人夾爪是金屬平行開(kāi)合。直接用人手視頻訓(xùn)練的策略，部署到機(jī)器人上必然失效。

其二，極少數(shù)據(jù)下的學(xué)習(xí)難題。 30 分鐘視頻僅約 60 條軌跡，這個(gè)數(shù)據(jù)量下主流模仿學(xué)習(xí)（ACT、Diffusion Policy）極易過(guò)擬合，更別提泛化到?jīng)]見(jiàn)過(guò)的場(chǎng)景。

數(shù)據(jù)采集：戴一副 Aria Gen1 眼鏡，在任意環(huán)境完成演示，每條演示只需幾秒，無(wú)需標(biāo)定或?qū)Ｓ霉ぷ髡尽?/p>

核心思路：

把表征建在"交互"上，而不是"身體"上

HumanEgo 的核心 insight 可以濃縮為一句話：機(jī)器人不該模仿人的身體，而該恢復(fù)任務(wù)相關(guān)的"手-物交互幾何"。

團(tuán)隊(duì)把場(chǎng)景中每只手和每個(gè)物體都看作一個(gè)實(shí)體（entity），為每個(gè)實(shí)體計(jì)算一個(gè) 29 維的交互中心 Token（Interaction-Centric Token, ICT），編碼實(shí)體在參考系下的 6D 位姿、左右手相對(duì)該實(shí)體的位姿，以及抓取狀態(tài)。

系統(tǒng)架構(gòu)：視覺(jué)端通過(guò)摳除人臂 + 渲染虛擬夾爪消除外觀差異；空間端用 ICT 序列編碼實(shí)體間關(guān)系；flow matching 策略配合三個(gè)密集輔助目標(biāo)，從分鐘級(jí)人類數(shù)據(jù)學(xué)出雙手機(jī)器人動(dòng)作。

這個(gè)表征有三個(gè)關(guān)鍵性質(zhì)：

實(shí)體相對(duì)——每個(gè) token 描述"手相對(duì)物體怎么靠近、抓取、運(yùn)輸"，正是操作的本質(zhì)信號(hào)；

形態(tài)無(wú)關(guān)——人手經(jīng)過(guò)簡(jiǎn)單重定向被抽象成"虛擬雙指夾爪"，無(wú)論人手還是 Trossen / UR5 / Franka 夾爪，都產(chǎn)生同樣的 token；

變長(zhǎng)接口——場(chǎng)景里有幾個(gè)物體就有幾個(gè) token，天然適配不同任務(wù)。

手到夾爪：人手 21 個(gè)關(guān)鍵點(diǎn)被重定向?yàn)橐粋€(gè) SE(3) 虛擬夾爪 + 1 維開(kāi)合狀態(tài)。

物體一側(cè)，團(tuán)隊(duì)用 Grounding DINO + SAM2 檢測(cè)分割，CoTracker3 跨幀追蹤關(guān)鍵點(diǎn)并三角化到 3D，再用 Orient-Anything 估計(jì)朝向。抓取時(shí)物體常被手遮擋，HumanEgo 引入運(yùn)動(dòng)學(xué)鎖定（kinematic latching）——從抓取那一刻起把物體位姿剛性綁定到手上，保證遮擋期間表征依然穩(wěn)定連續(xù)。所有這些量都來(lái)自現(xiàn)成感知模型，無(wú)需任何人工標(biāo)注。

視覺(jué)端，HumanEgo 用 SAM2 + LaMa摳除人手人臂，再把虛擬夾爪和物體關(guān)鍵點(diǎn)渲染回原圖，得到"看起來(lái)已經(jīng)像機(jī)器人在操作"的本體無(wú)關(guān)觀測(cè)——用輕量渲染繞開(kāi)了昂貴的域適應(yīng)或圖像翻譯。

策略采用flow matching（比 diffusion 更快、比 ACT 更具表達(dá)力），并疊加三個(gè)密集輔助目標(biāo)：物體運(yùn)動(dòng)預(yù)測(cè)、2D 軌跡回歸、潛在一致性。它們?cè)?3D 物理、2D 視覺(jué)、潛在空間三個(gè)互補(bǔ)空間里預(yù)測(cè)場(chǎng)景如何演變，讓每條演示不再只產(chǎn)生一個(gè)動(dòng)作監(jiān)督，而是榨出四種密集信號(hào)——這正是低數(shù)據(jù)下高效學(xué)習(xí)的關(guān)鍵。

實(shí)驗(yàn)：

92.5% 成功率，比遙操作高 41%

團(tuán)隊(duì)在 4 個(gè)真實(shí)世界雙手任務(wù)上系統(tǒng)評(píng)估，分別考驗(yàn)抓取放置、長(zhǎng)程多步、接觸密集雙手協(xié)同、持續(xù)旋轉(zhuǎn)控制——其中拆疊杯子要求三步動(dòng)作零誤差累積，澆花則要兩臂嚴(yán)格按時(shí)序配合。

Serve Bread：從任意位置抓起面包，平穩(wěn)放到盤(pán)子中央。

Downstack Cups：長(zhǎng)程多步——推倒、抓取、重新堆疊三個(gè)嵌套杯子，任一步出錯(cuò)都會(huì)累積。

Water Flowers：接觸密集雙手協(xié)同——一臂舉噴頭，一臂開(kāi)閥門(mén)，嚴(yán)格時(shí)序配合。

Adjust Table：握住搖把連續(xù)旋轉(zhuǎn)三整圈，全程不松手。

每個(gè)任務(wù) 40 次試驗(yàn)，對(duì)比 5 個(gè)零樣本基線（EgoZero、PointPolicy、ZeroMimic、Track2Act、SPOT）與匹配時(shí)長(zhǎng)的 ACT 遙操作基線。結(jié)果：

HumanEgo-30 在四個(gè)任務(wù)上全面領(lǐng)先；僅用 15 分鐘數(shù)據(jù)的 HumanEgo-15 已超過(guò)用 30 分鐘機(jī)器人數(shù)據(jù)訓(xùn)練的 ACT。

• 92.5%平均成功率（30 分鐘人類視頻，四任務(wù)）；
• 僅 15 分鐘人類數(shù)據(jù)即達(dá)75%，已超過(guò) 30 分鐘遙操作的 51%；
• 比匹配時(shí)長(zhǎng)的 ACT 遙操作高41%
• 8 分鐘人類視頻（57.5%）即超過(guò)30 分鐘機(jī)器人數(shù)據(jù)（52.5%）——3.75× 數(shù)據(jù)效率

五個(gè)零樣本基線只能捕捉操作的局部側(cè)面，在需要精確手-物推理的任務(wù)上集體失守（最高不超過(guò) 45%），HumanEgo 是唯一在四個(gè)任務(wù)上都保持高成功率的方法。

數(shù)據(jù)效率曲線：人類數(shù)據(jù)曲線全程高于機(jī)器人遙操作，8 分鐘即反超 30 分鐘遙操作。

更關(guān)鍵的是消融實(shí)驗(yàn)。團(tuán)隊(duì)對(duì)比五種表征配置發(fā)現(xiàn)：純視覺(jué)方法的天花板只有 32.5%，無(wú)論怎么摳圖、渲染；而一旦加入 ICT，成功率直接跳到 85%（+52.5pp），完整模型達(dá) 95%。顯式的交互中心空間表征，才是跨形態(tài)遷移的真正使能者。

表征消融：純視覺(jué)天花板 32.5%，加入 ICT 后躍升至 85%；三個(gè)輔助目標(biāo)進(jìn)一步帶來(lái)增益。

一個(gè)策略，零樣本適配多種機(jī)器人、相機(jī)與環(huán)境

把單一策略直接部署到 9 個(gè)分布外條件（不同機(jī)器人 / 相機(jī) / 光照 / 物體）下，成功率全部維持在85–95%，無(wú)需任何重訓(xùn)練或微調(diào)。

零樣本跨條件泛化：跨本體、跨相機(jī)、跨環(huán)境均保持 85–95% 成功率。

跨本體：同一策略零樣本部署到不同機(jī)器人手臂。

跨環(huán)境：更換背景、光照、干擾物，策略依然穩(wěn)定。

跨設(shè)置：更換相機(jī)、視角、桌面高度，策略零樣本適配。

不止四個(gè)任務(wù)：更多真實(shí)世界能力

除四個(gè)主任務(wù)外，HumanEgo 同樣能學(xué)會(huì)一系列日常操作，全部來(lái)自分鐘級(jí)人類視頻：

給設(shè)備充電。

擰開(kāi)瓶蓋。

開(kāi)門(mén)。

開(kāi)柜子。

抽取紙巾。

寫(xiě)在最后：當(dāng)數(shù)據(jù)接口從實(shí)驗(yàn)室搬到日常

HumanEgo 單看是一項(xiàng)技術(shù)工作，但它真正想說(shuō)的是一個(gè)更大的判斷：機(jī)器人學(xué)習(xí)的瓶頸，不是"數(shù)據(jù)太少"，而是"數(shù)據(jù)接口和機(jī)器人硬件綁死了"。

當(dāng)可穿戴的第一人稱視頻成為新的數(shù)據(jù)接口，機(jī)器人數(shù)據(jù)收集就從"實(shí)驗(yàn)室里的稀缺資源"變成"人人可參與、可設(shè)計(jì)的工作流"：任何人都能貢獻(xiàn)數(shù)據(jù)，采集可以發(fā)生在真實(shí)世界的任意角落，同一份數(shù)據(jù)可以跨多個(gè)機(jī)器人復(fù)用。團(tuán)隊(duì)也指出了下一步方向——把這套范式擴(kuò)展到多指靈巧操作、長(zhǎng)程工業(yè)流程，以及從大規(guī)模人類視頻中持續(xù)學(xué)習(xí)。正如論文結(jié)尾所寫(xiě)——有了對(duì)的表征和學(xué)習(xí)目標(biāo)，人類第一人稱視頻可以成為機(jī)器人學(xué)習(xí)的通用數(shù)據(jù)接口。

視頻鏈接：https://mp.weixin.qq.com/s/C7rvC5-3WDndJJYTHEIIGA?click_id=129

HumanEgo 完整演示視頻（約 1 分 30 秒）：一鏡看完數(shù)據(jù)采集、方法原理與真實(shí)機(jī)器人執(zhí)行。

關(guān)于團(tuán)隊(duì)

HumanEgo 由馬里蘭大學(xué)（UMD）研究團(tuán)隊(duì)完成，作者包括 Zhi (Leo) Wang、Botao He、Kelin Yu、Seungjae Lee、Ruohan Gao、Furong Huang、Yiannis Aloimonos。

一作 王治是馬里蘭大學(xué)的研究者，研究聚焦于面向機(jī)器人學(xué)習(xí)的可擴(kuò)展數(shù)據(jù)接口——如何讓人類經(jīng)驗(yàn)通過(guò)可穿戴感知 scale 成下一代通用操作策略，方向涵蓋跨形態(tài)學(xué)習(xí)與從人類視頻中高效學(xué)習(xí)。HumanEgo 正是這一思路的集中體現(xiàn)。

個(gè)人主頁(yè)：https://tx-leo.github.io

導(dǎo)師 Yiannis Aloimonos是馬里蘭大學(xué)計(jì)算機(jī)系教授、UMIACS 計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室主任，主動(dòng)視覺(jué)（active vision）與認(rèn)知機(jī)器人領(lǐng)域的奠基性學(xué)者之一，長(zhǎng)期研究視覺(jué)、行動(dòng)與語(yǔ)言的交匯，致力于讓機(jī)器人像人一樣在與世界的交互中學(xué)習(xí)。

個(gè)人主頁(yè)：

https://robotics.umd.edu/clark/faculty/350/Yiannis-Aloimonos