VLA（視覺語言動作模型，Vision-Language-Action Model）

定義

VLA（Vision-Language-Action Model，視覺語言動作模型）是一種機器人基礎模型：輸入相機影像與自然語言指令（例如「把紅色杯子放進抽屜」），直接輸出機器人該執行的動作。

典型架構

  1. 視覺語言骨幹：沿用網路規模資料預訓練的 VLM，取得物體辨識與語意理解能力。
  2. 機器人資料微調：用大量遙操作示範（如 Open X-Embodiment）教模型把理解轉成動作。
  3. 動作輸出：離散動作 token，或連續動作的擴散／flow 頭。

代表模型

模型年份特點
RT-22023證明網路知識能轉移到機器人控制
Octo2024開源的通用機器人策略
OpenVLA20247B 參數開源 VLA
π0 系列2024–flow matching 動作專家，連續動作輸出

使用情境

  • 通用操作：同一個模型完成多種桌面任務，不需逐一寫程式。
  • 語言指令控制：非工程人員用自然語言下指令。
  • 跨機型泛化：在多種機器人資料上訓練，期望遷移到新硬體。

常見挑戰

  • 推論延遲：數十億參數的模型難以在機器人端高頻執行，常採用分層架構（慢速規劃＋快速控制）。
  • 可靠度：成功率仍不足以直接上產線，失敗偵測與恢復是研究熱點。
  • 資料瓶頸：機器人資料遠少於網路文字與影像。

延伸閱讀

常見問題

faq_01.log
VLA 和 VLM 有什麼不同？
VLM（視覺語言模型）輸入影像與文字、輸出文字，例如回答「圖裡有什麼」；VLA 在此之上多了動作輸出，直接產生機械手臂的末端位移、夾爪開合或關節指令，讓模型能真的在實體世界執行任務。
faq_02.log
VLA 的動作是怎麼輸出的？
主要有兩種：RT-2、OpenVLA 把連續動作離散化成 token，像產生文字一樣逐一輸出；π0 等模型則加上 flow matching 或擴散式的動作專家，直接輸出連續的動作序列，較適合高頻、精細的控制。

相關文章

相關術語

模仿學習（Imitation Learning）擴散策略（Diffusion Policy）Sim-to-Real（模擬到實體遷移）