論文導讀：PhysHSI——讓人形機器人自然地搬箱子、坐椅子、躺床、起身

Huayi Wang, Wentao Zhang, Runyi Yu, Tao Huang, Junli Ren, Feiyu Jia, Zirui Wang, Xiaojie Niu, Xiao Chen, Jiahe Chen, Qifeng Chen, Jingbo Wang, Jiangmiao Pang · 2025原文連結

一句話讀懂這篇論文

讓人形機器人跳舞、後空翻已經不稀奇，但讓它走過去把箱子搬起來放到別處、走到椅子前轉身坐下、躺到床上，難度高得多：要能適應不同的位置和物體、動作要自然像人、還要在真實世界中一直知道物體在哪。PhysHSI 把三件事整合在一個系統裡：用人類動作資料教機器人「怎麼動才自然」，用強化學習教它「怎麼完成任務」，再用 LiDAR + 相機的兩段式定位讓它「看得到目標」。

論文資訊卡

標題：PhysHSI: Towards a Real-World Generalizable and Natural Humanoid-Scene Interaction System
作者：Huayi Wang、Wentao Zhang、Runyi Yu（共同一作）、Tao Huang、Junli Ren、Feiyu Jia、Zirui Wang、Xiaojie Niu、Xiao Chen、Jiahe Chen、Qifeng Chen、Jingbo Wang、Jiangmiao Pang（後兩位為通訊作者）
機構：上海人工智慧實驗室、香港科技大學
發表：arXiv 2510.11072（2025 年 10 月）
專案頁：why618188.github.io/physhsi
HSI：Humanoid-Scene Interaction，人形機器人與場景的互動

問題背景

HSI 比單純的全身技能難在哪

起身、跳舞、敏捷動作這類全身技能只需要控制自己的身體。真實世界的 HSI 系統還要：

泛化到不同的互動情境和目標位置
產生物理上合理、像人的動作
有可靠的感知模組，提供周遭物體和場景的資訊

既有方法的不足

路線	做法	問題
傳統模型式方法	運動規劃或軌跡最佳化產生參考，再追蹤	計算成本高、模型假設強，難以泛化到多樣的真實互動
從零學的強化學習	單一或多個專門策略	需要大量獎勵設計和狀態轉換設計，尤其想要自然動作時
模仿動作捕捉先驗	從人類動作資料學	產生物理合理、像人的動作，推動了物理角色動畫的進步，但幾乎都停留在模擬中、依賴完美的場景觀測，模擬到真實是未解的障礙

動作追蹤（逐幀模仿參考軌跡）在模擬中能做出很有表現力的全身動作，也有研究搬到真實機器人上，但仍然依賴參考、泛化有限。對抗式動作先驗（AMP） 透過模仿動作「風格」而不是逐幀追蹤來提升泛化，在模擬中研究很多，但真實世界的應用有限，大多只用來規範基本行走技能。

感知方面：動作捕捉系統能提供精確的全域資訊，但限於實驗室；車載 RGB 和深度相機常把目標限制在局部工作空間，長時間的移動操作中容易跟丟；LiDAR 慣性里程計能提供全域資訊，但跟物體互動的精度有限。

系統概覽

shell

(a) 資料準備
人類動作（AMASS、SAMP）──重定向 + 平滑──► 機器人動作 ──事後標註物體──► 人形—物體動作資料

(b) AMP 策略訓練（模擬，IsaacGym）
策略 π ◄── 任務獎勵 + 正規化獎勵 + 風格獎勵
                                    ▲
           判別器 D：分辨「策略產生的動作」vs「資料集中的動作」

(c) 真實部署（宇樹 G1，全部在機上執行）
物體在視野外：LiDAR 點雲手動指定粗略位置 + FAST-LIO 里程計 → 粗定位
物體在視野內：相機 AprilTag 偵測 + 里程計 → 精定位
策略 50 Hz → PD 控制器 500 Hz

模擬訓練

資料準備：事後補上物體

把純人體動作重定向到機器人上已有成熟方法，但產生物理合理的人形—物體互動資料更難，因為要維持真實的接觸，例如舉起箱子時要牢牢抓住。

作者採用事後標註策略：

把 AMASS 和 SAMP 資料集的 SMPL 人體動作，透過最佳化重定向到機器人上
加一個平滑濾波器抑制重定向造成的抖動，得到純機器人動作資料集
手動標註關鍵接觸幀：拿起的時刻 $\phi_1$ 和放下的時刻 $\phi_2$
用簡單規則推出物體軌跡：在 $\phi_1$ 和 $\phi_2$ 之間，物體位置設為兩手的中點、朝向對齊機器人底座； $\phi_1$ 之前和 $\phi_2$ 之後，物體固定在對應關鍵幀的位置

這樣得到一個有一致、物理上連貫的物體位置的人形動作資料集，這對階段條件化和參考狀態初始化很關鍵。

AMP 框架

把 HSI 表述成強化學習問題。AMP 有兩個元件：產生動作的策略 $\pi$ ，以及分辨策略動作和參考資料集動作的判別器 $D$ 。

觀測與動作：

策略觀測 = 5 步歷史的本體感覺 + 任務特定觀測
本體感覺 $o^P_t \in \mathbb{R}^{108}$ ：底座角速度、重力方向、29 個關節的位置與速度、五個末端（左右手、左右腳、頭）相對底座的 3D 位置、上一步動作
任務觀測依任務而定，一般包括：物體形狀（邊界框尺寸）、物體 6D 姿態、目標位置。所有量都在機器人底座座標系中表示
判別器觀測 $o^D_t \in \mathbb{R}^{57}$ 包含特權資訊：底座高度、底座線速度與角速度、重力方向、關節位置、末端位置、物體位置
動作 $a_t \in \mathbb{R}^{29}$ ：29 個關節的目標位置，由 PD 控制器執行

在判別器觀測中加入物體位置對長時序任務很關鍵：它讓判別器隱含地知道現在是哪個任務階段——接近、拿起、搬運、放下——提升對策略訓練的引導。

獎勵：

r_t = w^G r^G_t + w^R r^R_t + w^S r^S_t

$r^G$ ：任務獎勵，鼓勵達成高層目標
$r^R$ ：正規化，壓制過大的關節扭矩和速度
$r^S$ ：風格獎勵，鼓勵模仿參考資料集的行為

判別器訓練：

\arg\min_D\ -\mathbb{E}_{d^M}\big[\log D(o^D_{t:t+\Delta t})\big] - \mathbb{E}_{d^\pi}\big[\log(1 - D(o^D_{t:t+\Delta t}))\big] + w_{gp}\,\mathbb{E}_{d^M}\Big[\big\lVert\nabla_\phi D(\phi)\big|_{\phi=o^D_{t:t+\Delta t}}\big\rVert^2\Big]

$d^M$ 、 $d^\pi$ 分別是資料集和策略產生的 $(\Delta t + 1)$ 幀動作片段分佈，最後一項是對抗訓練中常用的梯度懲罰。判別器學會：資料集的動作輸出接近 1，策略的動作輸出接近 0。

風格獎勵：

r^S_t = -\log\big(1 - D(o^D_{t-\Delta t:t})\big)

判別器越覺得「這像是資料集的動作」，獎勵越高。策略和判別器互相競爭，策略逐漸學會產生跟資料集風格一致的動作。策略用 PPO 最佳化。

混合參考狀態初始化

HSI 任務時序很長，如果每回合都從預設站姿開始，機器人很少經歷關鍵的轉換（例如拿起箱子那一刻），探索很困難。參考狀態初始化（RSI） 從隨機取樣的參考動作和對應的物體狀態初始化回合，提升探索效率。

但單純的 RSI 會過擬合到示範中有限的場景配置。作者用兩種方式緩解：

利用任務階段的可組合性：一段動作可能指定了箱子拿起的位置，但後續的目標位置不必跟資料一樣。所以從動作資料取樣一個初始階段 $\phi \in [0, 1]$ ，只把 $(\phi, 1]$ 之後的場景隨機化
一部分回合從預設站姿開始，並完全隨機化場景參數（物體大小、位置、目標位置）

這個混合 RSI 同時兼顧探索效率和泛化。

非對稱演員—評論家

真實世界中，因為雜訊和感測限制，只能得到部分觀測；系統限制也要求訓練時遮罩部分任務觀測。所以 actor 只用部署時拿得到的輸入，critic 則能看到更豐富的狀態（例如底座速度和沒被遮罩的任務觀測）。

動作約束

獎勵跨階段累積時，策略容易鑽漏洞，產生又快又抖的動作，尤其在訓練後期，不適合部署。解法：

一開始用小的風格獎勵權重讓策略探索，之後逐漸提高，讓動作跟資料對齊
加入 L2C2 平滑正規化，提升硬體部署時的平滑度和穩定性

真實部署

需要哪些觀測

部署時必須取得兩個關鍵觀測：末端位置和物體姿態。末端位置用關節編碼器做正向運動學就很準。物體定位比較難：車載感測器視野有限、經常被遮擋——例如機器人一開始看不到物體，或物體在動作中移出視野。

由粗到細的物體定位

用 $T^{b_t}_{o_t} \in SE(3)$ 表示物體在時間 $t$ 相對機器人底座的姿態。

粗定位（物體在視野外）：

初始化時物體通常不在相機視野內。指定一個粗略的初始姿態 $T^{b_0}_{o_0}$ ：位置是在 LiDAR 點雲視覺化中手動指定的，朝向設成單位旋轉
執行中用 FAST-LIO 估計里程計 $T^{b_0}_{b_t}$ （目前底座相對初始底座的姿態），推算物體在目前底座座標系中的位置：

p^{b_t}_{o_t},\ R^{b_t}_{o_t} = f_T^{-1}\Big((T^{b_0}_{b_t})^{-1}\,T^{b_0}_{o_0}\Big)

這提供一個連續但粗略的物體姿態估計，足以引導機器人從遠處走向目標。

精定位（物體在視野內）：

近距離用 AprilTag 偵測，取得物體在相機座標系中的精確位置和朝向。第一次偵測到標籤時，自動從粗定位切換到精定位
暫時偵測不到時（例如機器人轉身要坐下），保留最後觀測到的物體姿態和對應的正向運動學資訊，再用里程計傳播到目前時刻：

p^{b_t}_{o_t},\ R^{b_t}_{o_t} = f_T^{-1}\Big((T^{b_{\bar{t}}}_{b_t})^{-1}\,T^{b_{\bar{t}}}_{c_{\bar{t}}}\,T^{c_{\bar{t}}}_{o_{\bar{t}}}\Big)

靜態與動態物體：

靜態物體（例如椅子）：假設姿態固定，用上述傳播策略更新
動態物體（例如箱子）：這個估計在抓起之前有效；抓起後如果物體離開相機視野，位置和朝向都遮罩掉，改靠本體感覺完成任務。用一個簡單的距離門檻判斷是否已經抓起：估計的物體距離大於門檻就當成靜態物體，否則假設它跟著機器人移動

模擬到真實的轉移

用領域隨機化讓模擬更接近真實觀測，兩個關鍵策略：

對物體姿態和正向運動學觀測加入隨機偏移、高斯雜訊和延遲
在模擬中複製動態物體在抓取階段的遮罩機制：物體在相機視野外、目標距離超出範圍、或相機角度偏離垂直太多時，就遮罩

再加上標準的領域隨機化技巧提升穩健性。

硬體

宇樹 G1 人形機器人，內建 Livox Mid-360 LiDAR
頭部外掛 Intel RealSense D455 深度相機（水平 86°、垂直 57° 視野）
點雲視覺化、FAST-LIO、AprilTag 偵測、正向運動學，以及學好的策略，全部在機上的 Jetson Orin NX 執行，完全可攜

模擬實驗

設定

比較兩個常見基準：

RL-Rewards：不用動作參考，從零學 HSI 任務，用步態、任務、正規化獎勵的組合
Tracking-Based：逐幀追蹤資料集提供的人形和物體軌跡。使用跟 PhysHSI 相同的資料集，每個任務大約只有 2～5 段完整軌跡

四個代表性任務（IsaacGym）：

搬箱子：走過去、拿起、搬運、放下
坐下：走到椅子前坐下
躺下：走到床前躺下
起身：從椅子上站起來

兩種評估設定：

分佈內場景：只包含資料集中的場景設定
全分佈場景：在任務空間中均勻取樣——物體放在起點 0～5 公尺內，箱子初始高度 0～0.6 公尺、尺寸 0.2～0.5 公尺

兩個指標：

成功率：物體是否正確放好，或人形是否達到期望姿勢
像人程度分數：由 Gemini-2.5-Pro 根據任務描述和實驗軌跡，給每段示範片段 0～5 分

每個設定用五個隨機種子，各評估 1000 個回合和三段示範片段，報告平均和標準差。

結果

分佈內場景：

方法	搬箱子成功率	像人	坐下成功率	像人	躺下成功率	像人	起身成功率	像人
RL-Rewards	72.92	1.67	83.60	1.50	76.72	0.50	93.02	1.50
Tracking-Based	11.84	4.83	31.46	3.80	19.58	2.23	99.00	4.67
PhysHSI	91.34	4.00	96.28	4.80	97.86	4.80	99.68	3.77

全分佈場景：

方法	搬箱子成功率	像人	坐下成功率	像人	躺下成功率	像人	起身成功率	像人
RL-Rewards	63.40	1.17	73.14	3.07	55.76	2.00	90.50	1.07
Tracking-Based	0.02	0.50	1.12	0.50	0.94	1.00	35.32	3.27
PhysHSI	84.60	3.83	91.32	4.77	81.28	4.43	92.24	3.77

（成功率為 %，像人程度 0～5 分）

三個觀察：

成功率一致地高：四個長時序任務都表現穩定。最難的搬箱子有四個子任務，成功率仍跟只有兩步的坐下相當
泛化強：Tracking-Based 逐幀模仿參考軌跡，在分佈內還能拿到高的像人分數，但到了全分佈場景幾乎完全失敗（搬箱子 0.02%），因為參考資料太少。PhysHSI 利用 AMP 做靈活的動作重組，只要求風格跟動作先驗一致，在全分佈場景仍維持高成功率——只用少數幾段參考就學到很強的空間泛化
動作像人：PhysHSI 的像人分數遠高於 RL-Rewards。策略和判別器互相競爭，能有效分辨資料集動作和策略動作，產生自然行為；RL-Rewards 需要精心手工設計步態和正規化項，很難設計、對長時序任務也比較沒效

消融實驗

設定	搬箱子成功率	像人	坐下成功率	像人
沒有平滑	63.28	2.33	87.24	1.33
沒有物體標註	55.42	2.60	72.36	3.50
沒有 RSI	41.24	2.50	78.24	4.50
單純 RSI	5.70	0.50	18.70	1.83
不遮罩觀測（效能上限）	85.90	4.30	–	–
PhysHSI	79.34	3.83	91.32	4.77

資料品質和物體標註很關鍵：沒有平滑資料，判別器引導下的策略會去模仿末端抖動、動作突變這類人工痕跡，產生不自然的行為。拿掉物體標註，失敗率增加，因為 AMP 觀測中的物體狀態對學習階段轉換和動作風格很重要——例如物體很遠時，判別器會驅使人形走過去；搬運時，會讓箱子保持在兩手中間
混合 RSI 對泛化和效率很關鍵：單純 RSI（全部回合從資料集設定的參考狀態初始化）比完全不用 RSI 還差，因為觀察到的場景多樣性太少，泛化差、訓練效率低。混合 RSI 明顯提升泛化和樣本效率
遮罩的影響有限：遮罩策略比用完整物體狀態訓練稍慢，但對最終成功率影響很小

（註：消融表中 PhysHSI 搬箱子的數字 79.34% 與全分佈主表的 84.60% 不同，原文正文另提到 81.34%，以各表數字為準。）

真實世界實驗

整體表現

PhysHSI 零樣本轉移到真實世界，四個任務都成功完成。每個任務 10 次：

任務	成功率	完成精度（m）	執行時間（s）	最大移動範圍（m）
搬箱子	拿起 8/10，全程 6/10	0.19 ± 0.10	10.5 ± 2.8	5.69
坐下	9/10	0.07 ± 0.03	6.2 ± 1.3	4.14
躺下	8/10	0.16 ± 0.07	6.7 ± 1.0	3.76
起身	8/10	–	2.3 ± 0.4	1.74

四個任務都有不錯的成功率和精度，躺下和坐下特別好；最難的搬箱子拿起 8/10、全程 6/10，放置誤差在 20 公分以內
能泛化到不同的空間配置和物體性質：移動距離最遠 5.7 公尺，箱子的尺寸、高度、重量各不相同；也能坐或躺在不同高度的椅子和床上，室內室外都可以
動作比獎勵調整出來的強化學習策略更自然。策略繼承了 AMASS 資料中伸展台式的走路姿態；框架也支援學習風格化的動作，例如像恐龍一樣走路或高抬腿踏步
只靠機載感測和運算就能在戶外部署，相較依賴外部設施的動作捕捉部署方式更可攜

物體定位模組分析

17 次真實世界 HSI 試驗中 15 次成功。把模組估計的物體軌跡和動作捕捉系統的真值比較：

機器人離物體遠時，定位誤差較大（0.35 m）
進入約 2.4 m 內，AprilTag 偵測啟動、切換到精定位，平均誤差降到 0.05 m

兩次失敗：一次是粗引導偏差太大，標籤一直進不了視野；一次是系統當機。

分析一條成功軌跡的三個階段：

粗定位階段：誤差主要來自在 LiDAR 點雲視覺化中手動指定的目標點，偏離實際位置約 0.3 m。但估計軌跡和真值的趨勢一致，足以引導方向
精定位階段：誤差來自里程計漂移和 AprilTag 雜訊，但很小，軌跡緊密對齊
抓取階段：近距離時誤差主要來自 AprilTag 雜訊，而且因為操作動作比行走更快，誤差更明顯

系統限制測試（搬箱子，每種條件 3 次）

箱子高度	0 cm	20 cm	40 cm	60 cm
成功	2/3	3/3	3/3	1/3

箱子重量	0.6 kg	1.2 kg	2.3 kg	3.6 kg	4.5 kg
成功	2/3	3/3	2/3	1/3	0/3

箱子最大尺寸	20 cm	30 cm	40 cm	45 cm
成功	2/3	3/3	2/3	3/3

人形可以穩定搬運高度 0～60 公分、重量 0.6～3.6 公斤、最大尺寸 20～45 公分的箱子。箱子更高時，即使站著不動也超出機器人的垂直視野；更重或更寬的箱子，受限於橡膠手和手臂長度無法處理。

限制

硬體限制：G1 用橡膠手夾東西，限制了能操作的箱子大小和重量；太重還可能讓馬達過熱、造成硬體故障
大規模高品質 HSI 資料：目前是手動事後標註、挑選少量高品質樣本，無法規模化
自動化感知：目前的物體定位依賴模組化的真實世界系統（手動指定粗位置 + 標籤），增加複雜度和脆弱性。未來可以發展更自動的感知模組，例如能自主探索的主動感知

影響與定位

PhysHSI 是少數把「像人的動作」「任務泛化」「真實世界感知」整合成一個實際可部署系統的研究。幾個值得記住的設計：

事後標註物體：不需要人和物體同時被動作捕捉，用簡單規則就能從純人體動作資料生成人—物互動資料
判別器看得到物體位置：讓「風格」也能依任務階段而不同——遠處時鼓勵走過去、搬運時鼓勵箱子保持在兩手間
混合 RSI：解決長時序任務的探索問題，又不過擬合到示範的場景
由粗到細的定位：用最簡單的方法（手動點一下 + 里程計 + 一個標籤）解決最難的「一直知道物體在哪」問題

跟其他控制論文對照：

論文	平台	從哪裡學	控制方式
MIT Cheetah 3 凸 MPC	四足	模型	最佳化
ANYmal 致動器網路	四足	模擬 + 學到的致動器模型	強化學習
PhysHSI	人形	人類動作資料 + 模擬	AMP 強化學習
SHaRe-RL	工業手臂	結構化的真實世界互動	強化學習

參考資料

Wang, H., Zhang, W., Yu, R., Huang, T., Ren, J., Jia, F., Wang, Z., Niu, X., Chen, X., Chen, J., Chen, Q., Wang, J., & Pang, J. (2025). PhysHSI: Towards a Real-World Generalizable and Natural Humanoid-Scene Interaction System. arXiv:2510.11072
專案頁：why618188.github.io/physhsi
Peng, X. B., Ma, Z., Abbeel, P., Levine, S., & Kanazawa, A. (2021). AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control. ACM Transactions on Graphics.