論文導讀：SHaRe-RL——結構化、可互動的強化學習，讓工業手臂學會接觸密集的組裝

Jannick Stranghöner, Philipp Hartmann, Lisa-Marie Weigelt, Marco Braun, Sebastian Wrede, Klaus Neumann · 2025原文連結

一句話讀懂這篇論文

中小企業常常要組裝很多種、每種數量不多的產品，要求跟大量生產一樣精準、安全，但又要能隨產品變化調整。手動寫程式太死板，強化學習又太慢、探索時還可能把東西撞壞。SHaRe-RL 的想法是：工廠裡其實已經有很多現成的知識，不需要讓機器人從零摸索——製程工程師知道流程該怎麼拆、操作員會示範也會在旁邊糾正、安全規範規定了力不能超過多少。把這三種知識都放進強化學習，讓它只專心學最難的那一小段。

論文資訊卡

標題：SHaRe-RL: Structured, Interactive Reinforcement Learning for Contact-Rich Industrial Assembly Tasks
作者：Jannick Stranghöner、Philipp Hartmann、Lisa-Marie Weigelt、Marco Braun、Sebastian Wrede、Klaus Neumann
機構：德國比勒費爾德大學 CITEC、Fraunhofer IOSB-INA
發表：arXiv 2509.13949（2025 年 9 月，v2 更新於 2026 年 3 月）
專案頁：share-rl.github.io/share-rl.io（程式碼與示範影片）
SHaRe 全名：Structured, Human-in-the-loop, Real-world
實作：做成開源 LeRobot 框架的擴充，相容許多低成本機械手臂

問題背景

多樣少量的工業組裝

多樣少量（High-Mix Low-Volume, HMLV） 組裝在中小企業非常普遍，也是自主機器人最難的挑戰之一：

要求接近零失誤率、跨多種產品變體的高精度、嚴格遵守安全規範
同時要在環境本身的不確定性下運作
中小企業通常缺乏自動化專家，卻又依賴生產彈性維持競爭力

結果這類任務幾乎都還是靠人工。勞動力短缺讓需求更迫切，但現在的工業系統出了名地缺乏彈性。

強化學習的障礙

強化學習有潛力讓機器人適應不確定性，甚至勝過手工設計的控制器或遙操作。但在真實工業環境中部署很困難：

樣本效率差
獎勵函數不是定義不足就是定義過度
接觸密集的互動中，不安全的探索有很大風險

兩種現成的知識

先前研究強調要把領域知識注入強化學習。工業環境中常見兩種強大的先驗知識：

製程結構：生產專家在工程階段用既有的形式化方法描述的流程
操作員專業：透過示範和線上修正提供

這兩者各自都被證明有效，但還沒有跟現代、樣本效率高的強化學習在真實世界安全約束下結合過。

方法

SHaRe-RL 把三種互補的領域知識整合進一條非同步學習管線。

一、操作員引導：人在迴路的強化學習

沿用類似 HIL-SERL 的分散式人在迴路訓練迴圈：

訓練前：熟練的操作員用六自由度 SpaceMouse 遙操作蒐集一組軌跡，存進示範緩衝區
訓練中：操作員隨時可以按下按鈕接管機器人；按住時，策略的動作被人的 SpaceMouse 動作取代。這讓資料蒐集偏向成功和安全的行為，幫助策略跳出不好的局部最佳
除了修正，操作員也可以刻意製造罕見但重要的失敗情況，強迫策略學會穩健的恢復行為
實務上，訓練初期操作員介入很頻繁，隨著表現提升逐漸減少。修正短而具體、其他時候讓策略自己探索時，收斂比較快

系統架構：

shell

Actor 程序：在機器人上執行目前策略，產生經驗，串流給 Learner
     ▲                                          │
     │  固定時間間隔傳回更新後的權重              ▼
Learner 程序：從示範緩衝區和同策略緩衝區「等量」取樣小批次
             → 用 RLPD 損失做梯度更新

RLPD 是 SAC 的正規化變體，設計目標是樣本效率高、能整合先驗資料而不需要離線預訓練。

二、任務層級先驗：TFF 與 MP-Net

只靠人在迴路的修正，還不足以處理長時序組裝——沒有額外結構，搜尋空間很快就無法處理。

操作基元（Finkemeyer 等人的形式化）是一個三元組：

\text{MP} := \{\mathcal{H}\mathcal{M},\ \tau,\ \lambda\}

$\mathcal{H}\mathcal{M}$ ：相對於任務座標系，每個平移和旋轉方向各自的混合力或位置控制策略。重點是每個方向的控制器類型可以不同（例如 z 方向力控、x 方向速度控制）
$\tau$ ：工具指令
$\lambda$ ：基於感測值的布林判斷式，定義停止條件

MP-Net 把基元組合成狀態機，由停止條件觸發轉換。

自適應操作基元（AMP）：傳統基元用固定的控制設定值執行。AMP 把選定的設定值換成由策略控制的變數。如果有 $n$ 個軸由策略控制，動作空間就是 $n$ 維；操作員的 SpaceMouse 也被限制在這 $n$ 個軸，確保示範和介入都跟策略可用的自由度一致。這讓探索集中在任務相關的方向和高獎勵區域。例如插銷入孔時，粗略接近用固定設定值，學習只留給處理精細對準時的不確定性。

整條 MP-Net 一起跑：不是各自訓練個別的基元、各有各的重置策略，而是示範和線上執行都從起始狀態走完整個 MP-Net 到終止狀態。資料蒐集時，操作員用 SpaceMouse 操控自適應基元，非自適應基元用固定設定值執行，所有預定的停止條件都啟用。如果某個停止事件很難用解析式描述，操作員可以按按鈕標記基元結束，這些標籤用來訓練一個輕量的二元分類器，之後自動觸發同樣的轉換。

這個設計有三個好處：

MP-Net 可以明確編碼重置策略：同一張圖既能執行任務，也能把系統送回明確的起始狀態。實驗中的 MP-Net 有一個從終止狀態回到起點的明確重置基元，不需要人工介入就能全自動反覆執行
軟體支援在同一個 MP-Net 中同時最佳化多個 AMP（本文只聚焦在一個）
每個 AMP 的初始狀態分佈由前面的基元正確地誘發。上游動作帶來的不確定性（例如抓取的變異）必須由下游基元穩健處理。如果用「原子式」的重置策略訓練，會改變這些分佈，學到的策略在執行時泛化很差。用完整 MP-Net 執行來訓練，策略看到的正是部署時會遇到的狀態分佈

三、自適應安全限制：每軸的力上限

接觸密集組裝中的探索很容易產生巨大、破壞性的接觸力。除了損壞硬體的風險，這種事件還會提早中止回合、讓軌跡分佈產生偏差，降低樣本效率。

作者提出每軸自適應力上限當作柔順控制的確定性安全層。設 $F_{cmd,t}$ 是高層控制器或策略的原始輸出、 $F_{meas,t}$ 是量測到的接觸力、 $F_{max} > 0$ 是靜態硬體上限，定義時變的自適應上限：

F_{lim,t}(F_{meas,t}) = \sigma(|F_{meas,t}|)\,F_{max}

$\sigma: \mathbb{R}_{\geq 0} \to (0, 1]$ 是單調遞減的函數， $\sigma(0) = 1$ 。這個上限在自由空間運動時很大，一偵測到接觸就收縮。

收斂性：假設剛體接觸（ $F_{meas,t+1} = F_{cmd,t}$ ），閉迴路的演化是：

F_{meas,t+1} = F_{lim,t} = \sigma(|F_{meas,t}|)\,F_{max}

這個遞迴的長期行為由不動點 $F^*_{lim}$ 決定，也就是接觸下建立的穩態力。只要遞迴在局部穩定，就保證收斂：

|\sigma'(F^*_{lim})|\,F_{max} < 1

實用的選擇是帶最小縮放 $\sigma_{min}$ 的指數衰減：

\sigma(F) = \sigma_{min} + (1 - \sigma_{min})\exp(-F/\kappa)

這個形式平滑、單調、有唯一的不動點。給定 $F_{max}$ 和期望的 $F^*_{lim}$ ，可以直接解出對應的衰減參數 $\kappa$ ；穩定性則簡化成對 $\sigma_{min}$ 的一個簡單不等式，概念上類似以收縮為基礎的動態系統驗證。

直覺：自由空間允許很大的指令，可以快速移動；一旦量到接觸力，上限就縮小，指令力和量測力都會自動收斂到 $F^*_{lim}$ ，不需要手動調整。

跟 HIL-SERL 的做法比較：HIL-SERL 是限制阻抗參考誤差，等於任何時候都限制最大力量；SHaRe-RL 只在接觸時收緊，保留了自由空間的動態。

實驗任務：工業連接器插入

任務

插入 Harting Han-Modular 工業連接器（HanDD），間隙只有 0.2～0.4 mm。類似插銷入孔，但幾何形狀不是圓柱，而且最後有一個卡入的階段。

學習集中在精細插入階段，但可靠的真實世界訓練需要把整個流程結構化成幾個操作基元：用腳本處理可重複的部分（接近、粗略對準、接觸後的動作），學習只限制在最有用的不確定插入階段。

MP-Net

基元	x	y	z	a	b	c
MP1：接近	0 mm/s	0 mm/s	−10 mm/s	0°	0°	0 °/s
AMP2：插入	$v_x(o_t)$ mm/s	$v_y(o_t)$ mm/s	2 N	0°	0°	$\dot{c}(o_t)$ °/s
MP3：按壓	（下壓卡入）
MP4：放開	0 mm/s	0 mm/s	1 mm/s	0°	0°	0 °/s
MP5：退回	0 mm/s	0 mm/s	0 mm	0°	0°	0 °/s
MP6：重置	隨機	隨機	25 mm	隨機	隨機	隨機

只有插入這一步由策略控制 x、y 方向的速度和繞 c 軸的旋轉速度，z 方向固定用 2 N 的力往下壓。學到的終止條件 $\psi(o_t)$ 和隨機化的重置基元 MP6 讓迴圈可以反覆試驗。

機器人與控制器

UR3e 手臂，手腕整合六軸力／扭矩感測器，搭配自我中心視角的 Intel RealSense D405 RGB-D 相機，以及客製 3D 列印夾爪手指
三層控制架構：
- 頂層：任務座標系各軸的期望力或速度設定值，10 Hz 更新
- 中層：500 Hz 的笛卡兒阻抗迴路，轉成力旋量指令給機器人原廠的力控制器
- 這個設計讓每軸力上限直接套用在指令力旋量上，在送到硬體之前就生效
自由空間的最大上限：平移 30 N、旋轉 10 N·m；接觸時自適應縮放收斂到 5 N 和 0.5 N·m

MDP 建模

觀測：

o_t = \big(I_t,\ x_{t-1:t},\ F_{t-1:t}\big)

$I_t \in \mathbb{R}^{128\times128\times3}$ ：手腕 RGB 影像
$x_{t-1:t} \in \mathbb{R}^{2\times12}$ ：堆疊兩幀的末端姿態和速度
$F_{t-1:t} \in \mathbb{R}^{2\times6}$ ：堆疊兩幀的力旋量

堆疊幀用來補償部分可觀測性，以及柔順控制器帶來的非馬可夫效應。為了避免過擬合到固定幾何，學習軸上的絕對位置不放進狀態。影像裁切、降採樣成局部視野，加上隨機平移增強，用凍結的預訓練 ResNet10 編碼，再跟本體感覺和力旋量特徵串接。策略和評論家網路都是兩層、每層 256 單元、SiLU 激活的 MLP；策略輸出對角高斯分佈的參數，用 tanh 壓縮以強制動作上限（SAC 的標準做法）。

動作：結構化版本的 MDP 只定義在插入基元上，動作空間限制為 x、y、c 三個軸的笛卡兒速度設定值。非結構化的基準方法沒有任務層級先驗，必須在完整的六自由度笛卡兒空間中端到端解決插入。

重置與不確定性：所有方法共用同一個腳本式重置和回合長度。比起先前的研究，多開放了一個繞連接器 c 軸的旋轉自由度，並增加初始姿態的不確定性：

每回合開始時，各軸獨立加入高斯雜訊：平移 $\sigma_{x,y} = 5$ mm、每個旋轉軸 $\sigma = 10°$
為了模擬系統性校正誤差，初始分佈沿 x 軸偏移 2 公分
策略因此要先移動更長的距離才能開始精細對準，最大回合長度從 3 秒增加到 9 秒（90 步）

獎勵：

r^{dense}_t = -\lVert z_t - z_{goal}\rVert_2, \qquad r^{sparse}_t = \psi(o_t)

稀疏獎勵由一個離線訓練的二元成功分類器 $\psi$ 給出（跟策略同樣的網路架構，用 20 個正例和 20 個負例示範訓練）。因為很多工業成功訊號本質上就是稀疏的，而稀疏分類器在不確定性下泛化較好，主要實驗用稀疏獎勵，消融才用密集獎勵。

實驗結果

設定

每種方法跑兩次訓練，固定 3 小時的牆鐘時間預算，單張 RTX 3060 Ti。每個變體用 20 段遙操作示範初始化，訓練結束後用 20 次不介入的自主執行評估。策略以 10 Hz 執行；週期時間從重置後開始算到成功或逾時為止（結構化方法包含接近基元，所以跟非結構化方法可以比較）。

主要比較

方法	成功率	週期時間	結構	示範	介入
SAC（密集獎勵）	5%	8.7 s
HIL-SERL	65%	7.4 s		✓	✓
SHaRe-BC	80%	7.4 s	✓	✓	✓
SHaRe-RL	100%	3.5 s	✓	✓	✓
SHaRe-RL（PPO）	5%	8.8 s	✓	✓	✓
SHaRe-RL（沒有示範）	35%	7.9 s	✓		✓
SHaRe-RL（沒有介入）	45%	7.5 s	✓	✓
SHaRe-RL（沒有視覺）	10%	8.8 s	✓	✓	✓
人類專家	100%	4.5 s	–	–	–
隨機策略	5%	8.9 s	–	–	–

讀這張表的重點：

SHaRe-RL 達到 100% 成功、週期 3.5 秒，勝過人類專家（4.5 秒）和所有學習方法
對比 HIL-SERL（沒有任務層級先驗的人在迴路強化學習）：65% 對 100%、7.4 秒對 3.5 秒。這個差距直接量化了在接觸密集的真實強化學習中加入結構的實際效益
對比 SHaRe-BC（有結構、但用行為複製，類似 HG-DAgger）：SHaRe-BC 很快達到 80%，但停在示範品質附近；SHaRe-RL 在整個訓練預算內持續進步。原因是人類示範可能因為停頓、保守行為、操作習慣而不夠理想——作者觀察到用 SpaceMouse 時，人通常一個軸一個軸地依序對準，軌跡比較長。行為複製的表現受限於示範品質，強化學習則能用動態規劃從成功和失敗中學習，自我修正，發現難以示範的行為（例如多軸同時對準、動態最佳），最終超越人類
介入率：SHaRe-RL 對人類修正的依賴穩定下降，訓練結束時降到零。質性上，從早期長而稀疏的介入，轉變成策略成熟後短暫、針對性的修正

消融

拿掉線上修正：成功率降到 45%
再拿掉離線示範：只剩 35%。兩種人類引導在 3 小時預算內都很重要
改用同策略的 PPO：訓練完只有 5%，顯示它無法處理稀疏獎勵和視覺輸入
拿掉視覺：崩到 10%。影像回饋對解決幾何上的模糊性非常關鍵，尤其是繞連接器 c 軸的方向——在這種姿態不確定性下，光靠力和速度無法可靠推斷

為什麼結構這麼重要：狀態空間佔據

比較 SHaRe-RL 的完全自主執行，跟一個沒有基元、示範、介入，純用密集獎勵端到端訓練的 SAC，把軌跡投影到工作空間的 x–z 切面：

SAC（密集）：雖然密集獎勵沿插入方向提供連續的學習訊號，但方向和接觸幾何的不確定性讓這個訊號對對準幾乎沒用——獎勵地景沿旋轉軸幾乎是平的。結果它探索了大得多的區域，但一直停在開口正上方，很少進入通往成功插入的窄漏斗
SHaRe-RL（稀疏）：即使是稀疏獎勵，佔據也集中在成功區域

這說明選得好的先驗，比手工設計的形塑獎勵更能有效引導接觸密集情境中的探索。

零樣本泛化

用 HanDD 母頭訓練的策略，不經任何微調直接部署到兩種沒看過的連接器變體，每種 20 次自主執行：

連接器	成功率	週期時間
HanDD 母頭（訓練用）	100%	3.5 s
HanDDD 母頭（未見過）	95%	4.8 s
HanDD 公頭（未見過）	90%	5.9 s

幾何和接觸動態改變時平均週期時間會增加，但成功率仍然穩健。這代表 SHaRe-RL 學到的是泛化的插入策略，而不是記住特定的空間配置。先前研究顯示只靠力回饋很難跨連接器幾何轉移策略，支持影像觀測對穩健組裝的必要性。

自適應力上限的驗證

任務層級：在蒐集示範時比較兩種上限：

上限方式	成功率	平均週期
自適應上限	100%	4.5 s
HIL-SERL 式上限	90%	5.2 s

HIL-SERL 式上限的失敗都是回合逾時。上限是各軸獨立套用的；在這個插入任務中接觸主要在 z 方向，沒有觀察到跨軸耦合的不良影響。

高力碰撞測試：在 z 方向下達 20 N 的指令去撞一個剛性擋塊（ $F_{max} = 30$ N、 $F^*_{lim} = 5$ N），重複 20 次：

接觸前允許大指令
接觸後上限收縮，量測力平均 0.303 秒內穩定落在 5.0 N ± 1.0 N 的範圍內
穩定後的穩態平均誤差 0.004 N、標準差 0.37 N

儘管階層式控制器中有量測雜訊和訊號平滑，自適應上限仍有效吸收撞擊能量、在探索中安全地限制接觸力。

限制與未來方向

人類監督量：複雜任務仍需要不少人類監督。未來可以用更自主的方法，例如以模型為基礎的探索、從影像得到的自監督獎勵訊號。本方法也跟其他減少真實訓練時間的手段正交：離線強化學習預訓練、模擬到真實轉移、整合大型資料集和預訓練模型
更廣的泛化：在一個連接器家族內表現很好，但多樣少量部署最終需要跨產品變體和操作條件的泛化。自然的下一步是利用預訓練基礎模型——近期的 VLA 系統顯示大規模預訓練 + 離線強化學習目標 + 人在迴路執行能超越資料集表現，但這套做法能否轉移到高度分佈外、領域內資料有限的專門工業組裝，仍是開放問題
製程結構仍需手動設計：MP-Net 提供樣本效率和可解釋性，但設計它仍要手動工程。重要方向是從端到端示範中學出一個初始、人類可解讀的基元圖，再迭代改進

影響與定位

SHaRe-RL 的核心訊息是：工廠裡已有的製程知識，本身就足以有效引導真實世界的強化學習，讓部署更安全、更穩健、在經濟上可行。它的三個元件各自解決一個實務障礙：

障礙	SHaRe-RL 的解法
搜尋空間太大、樣本效率差	MP-Net：只讓強化學習學最難的那一段、只開放需要的軸
稀疏獎勵難以探索	示範 + 線上修正：把資料偏向成功行為
探索時的接觸力可能破壞硬體	每軸自適應力上限：可證明有界、自由空間不受影響

跟其他「結合人類知識與強化學習」的研究對照：

方法	人類知識的形式	學習方式
HIL-SERL	示範 + 介入	端到端強化學習
PhysHSI	人類動作捕捉資料	AMP 強化學習（模擬）
SHaRe-RL	製程結構 + 示範 + 介入 + 力規範	結構化、真實世界強化學習

參考資料

Stranghöner, J., Hartmann, P., Weigelt, L.-M., Braun, M., Wrede, S., & Neumann, K. (2025). SHaRe-RL: Structured, Interactive Reinforcement Learning for Contact-Rich Industrial Assembly Tasks. arXiv:2509.13949
專案頁：share-rl.github.io/share-rl.io
Luo, J. et al. (2024). HIL-SERL: Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning.