行為複製最大的問題是什麼？

累積誤差（compounding error）：策略只看過專家走過的狀態，一旦執行時稍微偏離，就會進入沒看過的狀態而越錯越多。常見對策包括 DAgger（讓專家在偏離狀態下補標註）、加入更多樣的示範，以及用動作分塊（action chunking）減少決策次數。

示範資料要怎麼蒐集？

常見方式有遙操作（例如 ALOHA 的主從手臂、VR 手把）、動作捕捉、直接拖動機器人教學（kinesthetic teaching），以及從人類影片中擷取動作。

模仿學習（Imitation Learning）讓機器人從專家示範中學習怎麼完成任務，不需要像強化學習那樣設計獎勵函數或大量試錯。

行為複製（Behavior Cloning, BC）：把示範資料當成監督式學習，直接學習「觀察 → 動作」的映射。 $\min_{\theta} \; \mathbb{E}_{(o,a)\sim\mathcal{D}} \left[ \mathcal{L}\big(\pi_\theta(o),\, a\big) \right]$
逆強化學習（Inverse RL）：先從示範推出專家在優化什麼獎勵，再用強化學習學策略。
DAgger：執行過程中讓專家修正，逐步擴充資料集。

行為複製最大的問題是什麼？: 累積誤差（compounding error）：策略只看過專家走過的狀態，一旦執行時稍微偏離，就會進入沒看過的狀態而越錯越多。常見對策包括 DAgger（讓專家在偏離狀態下補標註）、加入更多樣的示範，以及用動作分塊（action chunking）減少決策次數。
示範資料要怎麼蒐集？: 常見方式有遙操作（例如 ALOHA 的主從手臂、VR 手把）、動作捕捉、直接拖動機器人教學（kinesthetic teaching），以及從人類影片中擷取動作。