論文導讀：Mobile ALOHA——低成本全身遙操作，學會雙臂移動操作

一句話讀懂這篇論文

模仿學習在桌面上的雙臂操作已經做得很好（例如原本的 ALOHA），但現實的家事——把鍋子收進櫃子、搭電梯、煮菜——都需要一邊移動一邊用兩隻手。這篇論文做了兩件事：一套便宜、能同時控制底盤和雙臂的遙操作系統，讓人可以輕鬆蒐集這類示範；以及一個簡單的發現——拿既有的、跟任務無關的靜態雙臂資料一起訓練，就能讓移動操作任務的成功率大幅提升。

論文資訊卡

• 標題：Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation
• 作者：Zipeng Fu、Tony Z. Zhao（共同主導）、Chelsea Finn——史丹佛大學
• 發表：arXiv 2024 年 1 月（2401.02117），之後發表於 CoRL 2024
• 專案頁：mobile-aloha.github.io（硬體、軟體全部開源，含 3D 列印、組裝、安裝教學）
• 定位：讓雙臂移動操作的資料蒐集變便宜的代表作，也是「跨資料集共同訓練」在移動操作上第一個成功的例子

問題背景：兩個阻礙

1. 沒有便宜、即插即用的全身遙操作硬體

• 現成的雙臂移動機器人（PR2、TIAGo）超過 20 萬美元，一般實驗室負擔不起
• 遙操作還要額外硬體和校正：PR1 用兩個觸覺裝置控制雙臂、腳踏板控制底盤；有研究用動作捕捉把人的動作轉到 TIAGo 上，但只能控制單臂而且要仔細校正
• 遊戲手把、鍵盤可以遙操作 Stretch 或 Fetch，但不支援雙臂或全身

2. 學習端還沒證明能做複雜的雙臂移動操作

擴散模型、Transformer 這類表達力強的策略在精細的桌面任務上表現很好，但加上移動底盤後，手臂和底盤的動作交互作用變得複雜——底盤位置差一點點，手臂末端就會偏很多。之前沒有研究同時從硬體和學習兩端，給出實用的雙臂移動操作解法。

以「把重鍋子收進雙門櫃」為例：要先移動到櫃子前；開門時雙手抓著兩個門把、同時底盤往後退（需要全身協調）；然後雙手抓鍋子兩邊的把手一起放進去（需要雙臂協調）。

硬體：Mobile ALOHA

四個設計考量

1. 能移動：速度接近人走路，約 1.42 m/s
2. 穩定：操作鍋子、開櫃門這類重物時不會翻
3. 全身遙操作：雙臂和底盤所有自由度能同時遙操作
4. 不需要線：電源和運算都在機器人上

底盤

選用 AgileX Tracer AGV——一種為倉儲物流設計的低底盤差速驅動車：

• 最高速 1.6 m/s，接近人的平均步行速度
• 最大載重 100 kg、底盤高度 17 mm，可以在很低的位置加配重防止翻倒
• 載重時能越過 10 mm 的障礙、8° 的斜坡，離地間隙 30 mm；實測能通過地板和電梯之間的縫隙
• 在美國售價 7,000 美元，比同速度、同載重的 Clearpath AGV 便宜 5 倍以上

全身遙操作：把操作員綁在底盤上

難題在於：操作員的雙手已經握著 ALOHA 的兩支主臂，沒有手可以控制底盤。作者發現最簡單直接的解法是把操作員的腰綁在移動底盤上。底盤馬達斷電後，輪子摩擦很低，人可以直接推著走（在塑膠地板上滾動阻力約 13 N，大多數人都能接受）。這樣：

• 操作員自然地走路，底盤就跟著動；雙手同時操控主臂
• 人跟機器人直接相連，碰到東西時有粗略的觸感回饋
• 不需要第一人稱視角頭戴裝置，也不需要觸覺裝置
• 綁繩點高度和主臂位置都可以各自調整最多 30 公分

這個設計很重要：例如開雙門櫃時，人會自然地往後退一步，避免被門撞到、避免手臂姿勢彆扭。遙操作系統不應該限制這種協調動作，也不應該在資料中引入多餘的雜訊。

自主執行時，鬆開 4 顆螺絲就能拆掉綁繩結構和兩支主臂，縮小體積和重量，只留兩支 ViperX 300 從臂。另外四支手臂都改成朝前安裝（原本的 ALOHA 是兩支手臂面對面），改善人體工學、擴大工作空間。

電源與運算

• 底盤上放一顆 1.26 kWh、14 kg 的電池，同時當配重防止翻倒
• 所有運算在一台消費級筆電上：Nvidia RTX 3070 Ti（8 GB）+ Intel i7-12800H
• 三台 Logitech C922x 網路攝影機，480 × 640、50 Hz：兩台在從臂手腕上，一台朝前
• 筆電透過 USB 讀四支手臂的本體感覺，透過 CAN bus 讀底盤
• 記錄底盤的線速度和角速度當動作；記錄四支手臂的關節位置當觀測和動作

規格

能做的事包括：澆花、吸地、裝卸洗碗機、從冰箱拿飲料、開門、用洗衣機、鋪被子、塞枕頭、拉拉鍊掛外套、摺褲子、開關燈、自己充電；打蛋、切蒜、拆蔬菜包裝、倒液體、煎雞腿、汆燙蔬菜、炒菜、盛盤；跟人握手、開啤酒遞給人、幫人刮鬍子、鋪床。遙操作系統可以連續使用好幾個小時，例如煮一頓三道菜、打掃公共廁所、洗衣服。

學習：直接串接 + 共同訓練

動作表示

做法出奇簡單：把雙臂 14 維關節位置和底盤 2 維速度直接串成 16 維動作向量：

• $a_{arms} \in \mathbb{R}^{14}$：兩支手臂的目標關節位置（含兩個連續的夾爪動作）
• $a_{base} \in \mathbb{R}^2$：底盤的目標線速度和角速度

這樣既有的深度模仿學習演算法幾乎不用改就能直接用。

共同訓練（co-training）

一般做法是針對特定任務、在特定硬體上從頭蒐集資料，資料蒐集冗長，視覺多樣性也有限，策略容易對干擾物、光線變化不穩。近年在單臂操作和導航上，用不同但類似的機器人蒐集的多樣資料一起訓練已經有不錯的成果，但雙臂移動操作的資料集幾乎不存在。

作者轉而使用比較多、比較好蒐集的靜態雙臂資料：透過 RT-X 釋出的靜態 ALOHA 資料集，共 825 段示範，任務包括封夾鏈袋、撿叉子、包糖果、撕紙巾、打開附蓋小杯、玩乒乓球、拉膠帶、用咖啡機、遞鉛筆、綁魔鬼氈、插電池、遞螺絲起子。

這些資料跟 Mobile ALOHA 的差異很大：

• 任務完全不重疊
• 都在黑色桌面上蒐集，背景固定；Mobile ALOHA 的背景隨底盤移動一直在變
• 兩支手臂面對面安裝；Mobile ALOHA 兩支手臂平行朝前

但作者沒有對靜態資料做任何特殊處理。訓練目標：

$$\mathbb{E}_{(o^i, a^i_{arms}, a^i_{base})\sim D^m_{mobile}}\big[L(a^i_{arms}, a^i_{base}, \pi^m(o^i))\big] + \mathbb{E}_{(o^i, a^i_{arms})\sim D_{static}}\big[L(a^i_{arms}, [0, 0], \pi^m(o^i))\big]$$

• 觀測 $o^i$：兩台手腕相機 RGB + 一台安裝在雙臂之間的頂部相機 RGB + 手臂關節位置
• 從兩個資料集等機率取樣，batch size 16
• 靜態資料沒有底盤動作，就補零讓兩邊動作維度一致
• 靜態 ALOHA 資料的正面相機忽略不用，讓兩邊都是 3 台相機
• 所有動作只用 Mobile ALOHA 資料的統計量做正規化

這套共同訓練配方可以搭配多種模仿學習方法：ACT、Diffusion Policy、VINN。

Action Chunking 與底盤延遲

所有方法都使用 action chunking：策略一次預測未來一整段動作，而不是每一步只預測一個。這原本就是 ACT 和 Diffusion Policy 的一部分，VINN 也很容易加上。作者發現它對操作非常關鍵，能讓軌跡更連貫，也減少逐步推論的延遲。

對 Mobile ALOHA 還有一個特別的好處：處理不同硬體的延遲。底盤的目標速度和實際速度之間有延遲，而位置控制的手臂延遲小得多。如果底盤延遲 $d$ 步，那麼對長度為 $k$ 的動作段，機器人執行手臂的前 $k-d$ 個動作、底盤的後 $k-d$ 個動作，讓兩者在時間上對齊。

七個任務

作者特別指出：把示範以開迴路方式重播（物體恢復到相同位置），所有任務的完整成功率都是零。主要誤差來源是底盤的速度控制，例如重播一個半徑 1 m 的 180° 迴轉，平均誤差超過 10 cm。所以學到的策略必須能閉迴路地反應和修正誤差。

實驗結果一：共同訓練提升 ACT

每個子任務的成功率 = 成功數 ÷ 嘗試數，嘗試數是上一個子任務的成功數，所以完整任務成功率 = 所有子任務成功率的乘積。每個成功率由 20 次試驗算出，炒蝦只有 5 次。

擦紅酒（50 段）：

炒蝦（20 段）：

洗鍋（50 段）：

用櫃子（50 段）：

搭電梯（50 段）：

推椅子（50 段）：

擊掌（20 段）：

讀這些表的重點：

• 共同訓練後，擦紅酒 95%、搭電梯 95%、用櫃子 85%、擊掌 85%、洗鍋 80%、推椅子 80%，每個任務只用 50 段（擊掌 20 段）示範
• 唯一低於 80% 的是炒蝦（40%），這是 75 秒的長序列任務，只蒐集了 20 段示範。策略在用鍋鏟翻蝦、把蝦倒進白碗（跟白桌子對比度低）時表現不好
• 7 個任務中有 5 個因共同訓練而進步，分別提升 45、20、80、95、80 個百分點；另外兩個差不多
• 共同訓練對「精細操作是瓶頸」的子任務幫助最大：按電梯按鈕（5% → 100%）、開水龍頭（0% → 80%）、翻蝦。這些情況的主要失敗原因是誤差累積，來自底盤速度控制的隨機性，或是抓鍋鏟、鍋鏟碰鍋子這類豐富接觸。作者推測，靜態 ALOHA 資料裡「抓取和接近物體」的動作先驗仍然有幫助，尤其手腕相機帶來的不變性讓這些先驗可以轉移
• 共同訓練也幫助泛化：推椅子時兩者在示範過的前 3 張都是 100%，但推沒看過的第 4、5 張時，共同訓練分別多 15 和 89 個百分點。擦紅酒時，共同訓練的策略在酒杯隨機範圍的邊緣也表現較好。作者推測在 20～50 段示範這種低資料情況下，共同訓練能防止表達力強的 Transformer 策略過擬合

實驗結果二：搭配不同的模仿學習方法

• Diffusion Policy（用 DDIM 排程加速推論、影像資料增強防過擬合）：推椅子跟 ACT 一樣 100%，擦紅酒較差（65%），接近中島和抓酒杯不夠精準。作者推測 50 段示範對擴散模型的表達力來說不夠，之前用 Diffusion Policy 的研究通常要 250 段以上。共同訓練讓它在兩個任務分別提升 30 和 20 個百分點
• VINN + Chunking（用 BYOL 學視覺表示，再用最近鄰從示範中檢索動作，加入本體感覺特徵並調整權重，檢索一整段動作而不是單一動作）：整體比 ACT 和 Diffusion Policy 差，主要失敗是拿杯擦拭時抓不準、切換動作段時動作不連貫。共同訓練的效果參差：擦紅酒降 5 個百分點、推椅子升 20 個百分點。因為 VINN 只有表示是共同訓練的，動作預測機制沒辦法利用靜態資料

消融實驗

資料效率：在擦紅酒任務上，分別用 25、35、50 段 Mobile ALOHA 示範。共同訓練在所有資料量下都比較好；共同訓練用 35 段，比不共同訓練用 50 段還高 20 個百分點（70% 對 50%）。

資料比例：靜態資料的取樣比例設為 30%、50%（預設）、70%，成功率分別是 95%、95%、90%。共同訓練對資料混合比例不敏感，套用到新任務時不太需要手動調整。

共同訓練 vs. 預訓練：

預訓練完全沒有幫助。作者推測網路在微調階段把靜態資料學到的經驗忘掉了。

使用者研究

8 位電腦科學研究生（5 女 3 男，21～26 歲），4 位完全沒有遙操作經驗，其他 4 位有不同程度經驗，都沒用過 Mobile ALOHA。先自由操作 3 分鐘（不碰測試任務會用到的物體），看專家示範一次後，連續做 5 次擦紅酒和用櫃子：

• 擦紅酒：平均完成時間從 46 秒降到 28 秒（降 39%）
• 用櫃子：從 75 秒降到 36 秒（降 52%）
• 5 次之後平均速度已接近專家示範

限制與未來方向

• 硬體：90 cm × 135 cm 的佔地對某些通道太寬；兩支從臂高度固定，搆不到低的櫥櫃、烤箱、洗碗機，計畫增加手臂升降的自由度
• 軟體：只做單任務模仿學習，機器人還不能自主改進或探索新知識
• 資料：示範由兩位專家操作員蒐集，如何從非常次優、異質的資料中學習，留給未來研究

影響與定位

Mobile ALOHA 證明了兩件事：

1. 全身遙操作不需要昂貴設備。把人綁在底盤上推著走，這個看似土法煉鋼的設計，解決了「雙手都在操作、沒手控制底盤」的根本問題
2. 跨形態、跨任務的資料共同訓練對移動操作也有效。就算靜態資料的任務、背景、手臂安裝方式都不同，仍能幫助精細操作和泛化

這兩點合起來，大幅降低了蒐集雙臂移動操作資料的成本。後續許多雙臂與人形機器人的資料蒐集系統，都沿用了「主從臂遙操作 + action chunking + 跨資料集共同訓練」這套思路。

相關論文推薦

• 論文導讀：Octo——用 800K 條跨機器人形態軌跡訓練的開源通用策略——同樣利用 Open X-Embodiment 跨形態資料
• 論文導讀：OpenVLA——70 億參數的開源 VLA，用七分之一參數打敗 RT-2-X
• 論文導讀：DAGDiff——在擴散過程中直接引導雙臂抓取走向力穩定、不碰撞——雙臂抓取的幾何生成路線
• 論文導讀：FELT——從相機畫面「猜出」夾爪的觸覺訊號——模仿學習資料增強的另一個方向

參考資料

• Fu, Z., Zhao, T. Z., & Finn, C. (2024). Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation. arXiv:2401.02117
• 專案頁：mobile-aloha.github.io
• Zhao, T. Z. et al. (2023). Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware（ALOHA / ACT）. RSS 2023.