論文導讀：V-GPS——用價值函數在推論時幫通用機器人策略挑動作

一句話讀懂這篇論文

Octo、OpenVLA 這類通用機器人策略語意理解很強，但動作常常不夠精準——夾不穩、太早放手、太晚放手。重新微調又貴又容易破壞泛化能力。V-GPS 的做法很直接：每一步讓策略多提幾個候選動作，再用一個另外訓練的「評分員」（價值函數）挑出最可能成功的那個去執行。策略本身完全不用動，甚至不需要拿到它的權重。

論文資訊卡

• 標題：Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance
• 作者：Mitsuhiko Nakamoto、Oier Mees、Aviral Kumar、Sergey Levine
• 機構：UC Berkeley、Carnegie Mellon University
• 發表：CoRL 2024（arXiv 2410.13816）
• 專案頁：nakamotoo.github.io/V-GPS
• V-GPS 全名：Value-Guided Policy Steering
• 定位：作者稱這是第一個在真實世界通用機器人策略上，用測試時動作取樣來提升表現的研究

問題背景

大資料集的品質是混雜的

用多樣大資料集訓練大模型是現代機器學習的關鍵配方。Open X-Embodiment 這類跨來源的機器人資料集讓大規模機器人學習變得可行，但這些資料品質參差：人蒐集的示範不太可能完美完成任務，資料集越大越難只挑最好的；而且某個機器人形態的最佳資料，拿來訓練另一個形態到底好不好也不清楚。

模仿學習能很好地複製示範的分佈，但這個分佈本身就不夠好。具體表現是：通用策略雖然語意泛化很強，常常因為操作不精確而失敗——抓取失敗、太早放手。遇到環境分佈變化時更嚴重，即使是無關緊要的變化（桌面紋理、相機位置、干擾物）。

為什麼不直接微調

在不斷變化的真實世界裡，每次適應都需要昂貴的遙操作或儀器化資料蒐集，還要小心調超參數，避免模型失去通用能力。如果能保留通用策略不動，只在部署時「引導」它，會是最理想的。

為什麼想到重新排序

在大型語言模型上，用價值或獎勵函數對多個候選答案重新排序，已經證明能大幅提升推理能力，但那是單步的「bandit」問題。在多步、環境隨機、直接從原始像素觀測的機器人操作上，這種做法還沒有在模擬 gym 環境以外被證明有效。

通用策略的典型失敗

作者先用 Octo-small-1.5（在 OXE 上訓練的開源 Transformer 通用策略）在真實 WidowX 機器人上觀察失敗模式：

1. 抓取不精準：「把青椒放進鍋子」。塑膠青椒表面滑、曲率不均，抓取點和夾爪力道選得不好就抓不穩。就算抓起來，抓取點或夾爪動作不理想，也常在執行途中掉下來。

2. 太早或太晚完成動作：

• 「把蘑菇放到布上」：蘑菇軟、好抓，Octo 也確實能抓起並移向布，但常常太早放手，蘑菇沒落在布上
• 「把壽司放進鍋子」：Octo 抓著不放太久，手臂在這段期間任意漂移，最後壽司掉在鍋子外面

方法

問題設定

有一個語言條件的通用策略 $\pi(a \mid s_t, l)$，能根據目前狀態 $s_t$ 和語言指令 $l$ 取樣多個動作 $a_1, \ldots, a_K$。不假設能拿到 $\pi$ 的權重，策略可以完全是黑盒。

在馬可夫決策過程中，價值函數 $Q(s, a)$ 代表長期折扣報酬 $\sum_t \gamma^t R(s_t, a_t)$。資料是帶語言標註的機器人資料集 $\mathcal{D} = \{(\tau_1, l_1), \ldots, (\tau_N, l_N)\}$，每條軌跡是一連串狀態和動作，加上描述任務的語言指令。

訓練階段：用離線強化學習學價值函數

核心是一個語言條件 Q 函數 $Q_\theta(s, a, l)$。

獎勵怎麼來？ 資料集本身沒有獎勵標註。做法是把每條軌跡的最後 $H = 3$ 步標為 +1（代表完成了語言指令描述的任務），其他步都是 0。實作上發現用 0 和 −1（整體平移）比 0 和 1 效果更好。

用哪個演算法？ 不同離線強化學習演算法學到的是不同策略的價值函數：SARSA 學的是行為策略本身的價值；CQL、Cal-QL、IQL 這類「完整」離線強化學習方法，則嘗試在資料中出現過的動作範圍內逼近最佳價值函數。V-GPS 的用法有兩個特殊需求：

1. 價值函數只用來重新排序一次（不是反覆迭代），所以它要盡量接近最佳價值函數
2. 同一個價值函數要拿來引導多個在不同大資料集上訓練的策略，所以要對分佈外的動作夠穩健

因此選用 Cal-QL（校準保守 Q 學習）：它嘗試逼近「資料支援範圍內最好的」最佳價值函數近似，而保守目標讓它對雜訊動作穩健。作者在附錄也證明 IQL 同樣有效。

Cal-QL 的訓練目標：

• 第一項是校準過的保守正則化：壓低分佈外動作的 Q 值，但用參考策略的 Q 值 $Q^\mu$ 當下限，避免對資料中出現過的動作過度悲觀
• 第二項是標準的貝爾曼誤差，$\bar{Q}$ 是延遲更新的目標網路
• $\alpha$ 控制保守懲罰的強度

模型架構：ResNet-34 影像編碼器 + FiLM 語言條件。語言指令先經過凍結的 MUSE 編碼器，再透過 FiLM 注入 ResNet 的每一個區塊。這個架構原本在語言條件行為複製策略上被證明有效，作者發現用來學價值函數也很好。

部署階段：測試時重新排序

每一步：

1. 根據目前觀測 $s_t$ 和語言 $l$，從通用策略取樣 $K$ 個動作 $\{a_1, \ldots, a_K\}$
2. 用 $Q_\theta$ 替每個動作打分
3. 依分數選動作

選法有兩種：直接貪婪 $a_t = \arg\max_{a_i} Q_\theta(s_t, a_i)$；或用溫度控制的 softmax 從重新排序後的分佈中取樣：

溫度 $\beta \to 0$ 時越來越接近貪婪。這個超參數讓使用者在「多相信策略」和「多相信價值函數」之間取得平衡。

演算法：V-GPS 測試時動作選擇
輸入：策略 π、Q 函數 Q_θ、初始狀態、語言指令、最大步數 T、取樣數 K、溫度 β
t ← 0
while t ≤ T:
    從 π(a | s_t, l) 取樣 K 個動作         # 策略提案
    依 Softmax(Q_θ(s_t, a_i) / β) 選 a_t     # 重新排序、選高價值動作
    執行 a_t，取得新觀測 s_{t+1}
    t ← t + 1

跟之前的離線強化學習方法不同，價值函數不是用在訓練資料上更新策略，而是直接在部署時遇到的場景上發揮作用，所以能處理部署時的分佈變化。而且因為只在測試時使用，是模組化、即插即用的，不需要傳統機器人離線強化學習那堆繁瑣的調整。

實驗設定

價值函數的訓練資料：Bridge V2（24 個環境、4.5 萬段帶語言標註的操作示範，5 Hz）+ Fractal（Google Robot 蒐集、涵蓋 700 多個任務的 13 萬段示範）。所有實驗都用同一個跨形態訓練的價值函數。

真實世界：6 自由度 WidowX250 手臂，3 個場景共 6 個任務。

模擬：SIMPLER——一個專為真實機器人策略設計的「真實到模擬」評估套件，能準確反映真實表現。WidowX 上 4 個任務、Google Robot 上 2 個任務。

五種通用策略：

實驗結果一：真實世界

V-GPS 在 6 個任務都提升了 Octo，而且正好解決了前面觀察到的失敗模式：

• 抓不穩：「青椒放進鍋子」需要精準抓取，成功率從 15% 翻倍到 35%。機器人更能穩穩抓住滑溜的青椒
• 太早放手：「蘑菇放到布上」，價值函數準確地提高「保持夾爪閉合」動作的分數，直到蘑菇在布的上方才放開，讓策略偏離它原本「太早放手」的預設行為，成功率翻倍
• 太晚放手：「壽司放進鍋子」，Octo 有放太晚的問題，V-GPS 讓成功率變三倍——價值函數能在正確的時機排序並選出「放開壽司」這個關鍵動作

實驗結果二：五種策略、兩種機器人

SIMPLER 模擬中的成功率（每格：原策略 / + V-GPS）：

• 同一個價值函數讓五種策略的平均表現都提升，橫跨兩種機器人形態
• 不是每個任務都進步，有些任務略有下降（例如 Octo-s 的湯匙任務、Octo-b 的拿罐子），但整體趨勢一致
• 「茄子放籃子」所有策略都大幅進步。這個任務跟其他開放桌面任務不同：籃子和水槽之間有高度差和一道牆，不小心就會撞牆失敗；茄子表面又滑，需要精準的抓取位置和夾力。這正好對應前面分析的失敗模式
• Octo-small-1.5 在 SIMPLER 上意外地比前一版 Octo-small 差很多，但加上 V-GPS 後大幅緩解這個退步，顯示 V-GPS 可能讓策略對 checkpoint 或訓練配方的變化更穩健
• 作者在附錄也證明 V-GPS 比直接微調通用策略本身更好

限制

• 策略必須能隨機取樣：如果策略是決定性的，每次都給同一個動作，就沒有候選可以排序
• 增加部署時的運算和時間：需要額外跑價值函數。在本文實驗中不是大問題，但可能限制高頻控制任務的應用。未來可以研究如何在「用策略」和「查價值函數」之間取得運算最佳的平衡
• 對全新語言和物體的能力有限：價值函數只用兩種機器人形態的資料訓練。擴大價值函數架構、用更多樣的資料是未來方向

影響與定位

V-GPS 把大型語言模型領域「生成多個候選、用評分模型挑最好的」這個測試時運算的概念，帶進了多步、真實世界的機器人控制。它的實用價值在於：

• 完全不碰策略本身：不用微調、不用權重，只要能取樣
• 一個價值函數通用多個策略：同時改善 Octo、RT-1-X、OpenVLA
• 針對性地修正精細操作的失敗：抓取時機、放手時機這類語意模型不擅長、但對成功率影響很大的細節

這也點出一個更大的方向：通用策略負責「大概該做什麼」，另一個專門的模組負責「哪個做法最可能成功」，兩者分工，而不是把所有能力都塞進同一個模型重新訓練。

相關論文推薦

• 論文導讀：Octo——用 800K 條跨機器人形態軌跡訓練的開源通用策略——V-GPS 主要引導的對象
• 論文導讀：OpenVLA——70 億參數的開源 VLA，用七分之一參數打敗 RT-2-X
• 論文導讀：Mechanistic Steering——不訓練、不用獎勵，直接調 VLA 內部神經元改變機器人行為——另一種推論時引導 VLA 的方式：從模型內部下手
• 論文導讀：SAFE——從 VLA 模型的隱藏狀態裡，直接讀出「這次任務要失敗了」

參考資料

• Nakamoto, M., Mees, O., Kumar, A., & Levine, S. (2024). Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance. CoRL 2024. arXiv:2410.13816
• 專案頁：nakamotoo.github.io/V-GPS
• Nakamoto, M. et al. (2023). Cal-QL: Calibrated Offline RL Pre-Training for Efficient Online Fine-Tuning. NeurIPS 2023.