為什麼擴散策略比直接回歸動作更好？

同一個情境下，人類示範可能有好幾種合理做法（例如從左邊或右邊繞過障礙）。直接用均方誤差回歸會把這些做法平均，得到一個兩邊都不是的錯誤動作；擴散模型能表示多峰分佈，每次取樣出其中一種合理做法。

擴散策略推論會不會太慢？

原始做法需要數十步去噪，速度確實是瓶頸。常見對策包括一次預測一段動作序列（action chunk）、使用 DDIM 等少步數取樣器，以及改用 flow matching 或一致性模型縮短生成步數。

擴散策略（Diffusion Policy）把擴散模型——也就是影像生成常用的技術——拿來生成機器人的動作序列。模型以觀察（影像、機器人狀態）為條件，從隨機雜訊出發，經過多步去噪，得到接下來一段時間要執行的動作。

訓練時，對示範動作 $\mathbf{a}^0$ 逐步加雜訊，讓網路學會預測雜訊：

\mathcal{L} = \mathbb{E}\left[\left\| \boldsymbol{\epsilon} - \epsilon_\theta\!\left(\mathbf{a}^k,\, k,\, \mathbf{o}\right) \right\|^2\right]

推論時從高斯雜訊 $\mathbf{a}^K$ 開始，反覆用 $\epsilon_\theta$ 去噪到 $\mathbf{a}^0$ ，得到動作序列。

為什麼擴散策略比直接回歸動作更好？: 同一個情境下，人類示範可能有好幾種合理做法（例如從左邊或右邊繞過障礙）。直接用均方誤差回歸會把這些做法平均，得到一個兩邊都不是的錯誤動作；擴散模型能表示多峰分佈，每次取樣出其中一種合理做法。
擴散策略推論會不會太慢？: 原始做法需要數十步去噪，速度確實是瓶頸。常見對策包括一次預測一段動作序列（action chunk）、使用 DDIM 等少步數取樣器，以及改用 flow matching 或一致性模型縮短生成步數。