強化學習（Reinforcement Learning）

定義

強化學習（Reinforcement Learning, RL）是一種讓智能體（agent）在環境中反覆嘗試、根據獎勵訊號調整行為，最終學會最大化長期累積獎勵的學習方法。在機器人領域，智能體就是機器人的控制策略。

核心概念

  • 狀態 ss：機器人感測到的資訊（關節角、速度、影像）
  • 動作 aa：送給馬達的指令
  • 獎勵 rr：好壞的評分（例如「往前走得越快、越省力分數越高」）
  • 策略 π(a∣s)\pi(a \mid s)：看到什麼狀態就做什麼動作

學習目標是最大化期望累積折扣獎勵：

J(π)=Eπ[∑t=0∞γtrt]J(\pi) = \mathbb{E}_{\pi}\left[\sum_{t=0}^{\infty} \gamma^{t} r_t\right]

使用情境

  • 足式與人形機器人行走：在模擬器中大量平行訓練，再轉移到實體。
  • 接觸密集的組裝任務：搭配人類示範或結構化先驗加速學習。
  • VLA 模型後訓練：以真實或模擬回饋微調大型模型。

常見挑戰

  • 樣本效率低：往往需要數百萬到數十億步互動，實體機器人難以負擔，因此高度依賴模擬。
  • 獎勵設計：獎勵寫得不好，機器人會找到「鑽漏洞」的怪異行為（reward hacking）。
  • Sim-to-Real 落差：模擬中學會的策略到實體可能失效。

延伸閱讀

常見問題

faq_01.log
強化學習在機器人上最成功的應用是什麼？
目前最成熟的是足式與人形機器人的運動控制：在 Isaac Gym 等模擬器中以 PPO 平行訓練數千個機器人，再透過領域隨機化轉移到實體，ANYmal、Unitree 等四足機器人的行走控制都採用這條路線。
faq_02.log
為什麼精細操作很少只用強化學習？
操作任務的獎勵很難設計、接觸物理在模擬中不夠準，加上探索效率低，純強化學習很難學會。實務上常先用模仿學習取得初始策略，再用強化學習微調。

相關文章

相關術語

模仿學習（Imitation Learning）Sim-to-Real（模擬到實體遷移）