大型模型與 VLA

論文導讀：AHA——會說出「機器人為什麼失敗」的視覺語言模型

AHA 把機器人失敗偵測從「成功/失敗二分類」改成「先判斷、再用自然語言解釋原因」，用 FailGen 在 RLBench 中擾動成功示範、自動生成 4.9 萬筆失敗資料來微調 LLaVA，在三個從未見過的資料集上勝過 GPT-4o，接進獎勵設計、任務規劃、子任務驗證三種下游系統後，平均成功率比 GPT-4 系列高 21.4%。

論文導讀：GaussianDream——在 VLA 裡加一個 3D 高斯世界模型，訓練時學「未來」，推論時不用付代價

GaussianDream 在 π0.5 這類 VLA 中加入一組可學習的查詢，從三張歷史畫面編碼出一段前綴 token；訓練時用兩個輔助頭把前綴解碼成目前的 3D 高斯場景和未來 1～5 步的高斯變化，以 RGB、深度和偽 3D 場景流監督；推論時丟掉所有輔助頭，只留前綴給動作生成。LIBERO 平均 98.4%、RoboCasa Human-50 達 54.8%、真實機器人從 34.4% 提升到 50.0%。

論文導讀：Mechanistic Steering——不訓練、不用獎勵，直接調 VLA 內部神經元改變機器人行為

這篇 CoRL 2025 論文把大型語言模型的機制可解釋性方法帶進 VLA：把前饋層的 value vector 投影到詞彙空間，找出對應「慢」「上」「快」等語意的神經元，推論時直接把它們的活性設成固定值，就能讓 OpenVLA 和 π0 的動作變快變慢、變高變低，不需要微調、獎勵或環境互動。

論文導讀：Mobile ALOHA——低成本全身遙操作，學會雙臂移動操作

Mobile ALOHA 把 ALOHA 雙臂遙操作系統裝到輪式底盤上，操作員腰部綁在機器人上推著走、雙手操控主臂，用 3.2 萬美元做出全身遙操作。再把底盤速度和手臂關節串成 16 維動作做行為複製，並跟靜態 ALOHA 資料共同訓練，每個任務只要 50 段示範，就能完成炒蝦、搭電梯、開櫃放鍋等長序列任務。

論文導讀：Octo——用 800K 條跨機器人形態軌跡訓練的開源通用策略

拆解 Octo 這個以 Transformer 為骨幹的通用機器人策略，如何用語言指令或目標影像兩種方式下達任務，並設計成能在消費級 GPU 上、幾小時內微調適配到全新感測器與動作空間的機器人平台。

論文導讀：OpenVLA——70 億參數的開源 VLA，用七分之一參數打敗 RT-2-X

拆解 OpenVLA 如何用 DINOv2 與 SigLIP 融合視覺編碼器搭配 Llama 2 語言骨幹，在 97 萬條跨機器人形態軌跡上訓練，以七分之一的參數量在 29 項任務上超越封閉的 RT-2-X。

從 RT-1 到 RT-2：機器人+大型模型的發展脈絡

RT-2 將視覺語言模型與機器人動作輸出結合，是 VLA 模型的重要里程碑。

論文導讀：SAFE——從 VLA 模型的隱藏狀態裡，直接讀出「這次任務要失敗了」

拆解 SAFE 如何從 OpenVLA、π0、π0-FAST 等 VLA 模型最後一層 transformer block 的 hidden state 裡抽取特徵，訓練一個跨任務通用的失敗偵測器，並精確定位這個抽取點在 Decoder 架構圖裡究竟對應哪一個張量。

論文導讀：τ0-VLA——讓機器人在決定下一步之前，先用世界模型「想像」幾種做法

τ0-VLA 是一個階層式機器人基礎模型：高層策略決定下一個子任務，低層 VLA 執行。遇到沒把握的決定時，高層會啟動測試時運算——提案模型提出多個候選子任務、世界模型生成每個候選做完後的畫面、價值模型打分，用束搜尋往前展開幾步，最後由反思模型拍板。低層策略用 40,115 小時的真實機器人資料訓練，能在多種機器人上做長達 12 分鐘的家務。

論文導讀：V-GPS——用價值函數在推論時幫通用機器人策略挑動作

V-GPS 不改動、不微調通用機器人策略，只在部署時讓策略提出多個候選動作，再用離線強化學習（Cal-QL）訓練出的語言條件 Q 函數重新排序、挑出最可能成功的那個。同一個價值函數能提升 Octo、RT-1-X、OpenVLA 等五種策略，真實 WidowX 任務平均成功率提升 82.8%。

論文導讀：VAMOS——同一個導航大腦，換一個小模組就能指揮四足狗和輪式車

VAMOS 把機器人導航拆成兩層：高層是用 PaliGemma 2 微調的視覺語言規劃器，在影像上畫出多條候選路徑，可以用自然語言指定偏好；低層是每種機器人各自在模擬中訓練的 affordance 模型，判斷每條路徑這台機器人走不走得過去，再重新排序。真實世界六條路線平均成功率 90%，輪式機器人換上自己的 affordance 模型後成功率從 60% 提升到 90%。