論文導讀：HEIGHT——用異質互動圖 Transformer 在擁擠又狹窄的空間中導航

Shuijing Liu, Haochen Xia, Fatemeh Cheraghi Pouria, Kaiwen Hong, Neeloy Chakraborty, Zichao Hu, Joydeep Biswas, Katherine Driggs-Campbell · 2025原文連結

一句話讀懂這篇論文

在走廊、大廳這種又擠又窄的地方，機器人要避開兩種完全不同的東西：會動、會互相影響的人，和不會動、但形狀複雜的牆和家具。以前的方法常把兩者混在一起處理（把人當障礙物，或把牆畫成一堆小圓），結果機器人要嘛撞牆、要嘛在人面前卡住不動。HEIGHT 的做法是把不同種類的東西、不同種類的互動分開處理：人用圓表示、障礙物用點雲表示；「人和人之間」「機器人和人之間」「障礙物和大家之間」各用一個專門的網路模組，再用強化學習讓機器人學會什麼時候該繞、什麼時候該等。

論文資訊卡

標題：HEIGHT: Heterogeneous Interaction Graph Transformer for Robot Navigation in Crowded and Constrained Environments
作者：Shuijing Liu（通訊作者）、Haochen Xia、Fatemeh Cheraghi Pouria（後兩位共同貢獻）、Kaiwen Hong、Neeloy Chakraborty、Zichao Hu、Joydeep Biswas、Katherine Driggs-Campbell
機構：德州大學奧斯汀分校、伊利諾大學香檳分校
發表：IEEE Transactions on Automation Science and Engineering（2025 年 11 月接受，DOI: 10.1109/TASE.2025.3646588；arXiv 2411.12150）
專案頁：sites.google.com/view/crowdnav-height
HEIGHT 全名：HEterogeneous Interaction GrapH Transformer

問題背景

機器人越來越常出現在以人為中心的環境中。除了會動的人，真實的導航環境通常還有牆、家具、無法通行的地形等靜態約束。這篇論文研究的是：在不撞到人和障礙物的前提下抵達目的地，這是最後一哩配送、家用機器人等應用的關鍵能力。

這種場景中有大量微妙的互動——人和人會互相避讓、人會對機器人做出反應、障礙物會限制所有人的路線。這些互動是異質的（種類不同）、動態的、難以推理的。

大量的人群導航研究只看開放空間、忽略靜態障礙物。少數處理受限空間的研究有兩個常見問題：

不區分動態和靜態障礙物，機器人很難採取適應性的避碰策略
場景表示（尤其是靜態障礙物）沒效率或有冗餘

所以研究問題是：機器人的導航策略要如何表示並推理擁擠受限環境中各種互動，才能適應性地避開碰撞？

做法	問題
人和障礙物都用一群小圓表示（DWA、DS-RNN）	兩者被同樣對待，但對決策的影響不同；輸入長度隨數量變化，超參數容易過擬合特定密度
原始感測影像或點雲表示整個環境（端到端）	需要高擬真模擬器或資料集，而精確的行人模擬既困難又昂貴
佔據地圖	擴大狀態空間、降低訓練效率；離散化也讓它難以捕捉緩慢的移動

問題建模

用馬可夫決策過程描述：

機器人狀態 $w_t$ ：位置、瞬時速度、目標位置、朝向（世界座標系）
第 $i$ 個偵測到的人 $h^t_i$ ：相對機器人的位置 + 瞬時速度。真實實驗中只用相對位置，因為人的速度很難準確估計
障礙物 $o_t$ ：2D 點雲
狀態 $s_t = [w_t, o_t, h^t_1, \ldots, h^t_n]$ ，偵測到的人數 $n$ 隨時間變化。人的 ID 不追蹤，依到機器人的距離排序；對所有代理人的真實位置和速度加入小量高斯雜訊，補償感知誤差

動作：離散的加速度。平移加速度 $\in \{-0.05, 0, 0.05\}$ m/s²，旋轉加速度 $\in \{-0.1, 0, 0.1\}$ rad/s²。平移速度限制在 $[-0.5, 0.5]$ m/s、旋轉速度在 $[-1, 1]$ rad/s，機器人用差速驅動動力學。

分開表示人與障礙物

人：每個人有自己的狀態，因為人會各自獨立移動。用現成的人體偵測器取得位置和速度，不需要追蹤。把每個人表示成低維狀態向量，抽象掉步態、外觀這些很難準確模擬的細節
障礙物：所有障礙物混在一起當一團 2D 點雲，因為它們都是靜止的

點雲有兩種來源：

即時點雲：來自車載感測器，反映機器人當下的感知，但需要高擬真的 LiDAR 模擬
人工點雲：從預建地圖和機器人定位用光線投射計算，只代表靜態障礙物、不受行人影響。對遮擋、不完美的人體模型、感測雜訊比較穩健，但需要地圖和可靠的定位

因為作者有可靠的定位、而模擬器的障礙物形狀和 LiDAR 點雲不準，選用人工點雲以縮小模擬到真實的落差。

獎勵函數

主要獎勵：抵達目標給獎勵、碰撞或太靠近給懲罰，加上一個引導機器人接近目標的勢能獎勵：

r_{main}(s_t, a_t) = \begin{cases} 20, & d^t_{goal} \leq \rho_{robot} \\ -20, & d^t_{min} \leq 0 \\ d^t_{min} - 0.25, & 0 < d^t_{min} < 0.25 \\ 4(d^{t-1}_{goal} - d^t_{goal}), & \text{其他} \end{cases}

$\rho_{robot}$ 是機器人半徑， $d^t_{goal}$ 是到目標的距離， $d^t_{min}$ 是到任何人或障礙物的最小距離。

旋轉懲罰： $r_{spin} = -0.05\lVert\omega_t\rVert^2$ ，懲罰高角速度

時間懲罰：每步 $r_{time} = -0.025$ ，鼓勵盡快完成

總獎勵 $r = r_{main} + r_{spin} + r_{time}$ 。直覺上：機器人以高速、短而平滑的路徑接近目標，同時跟動態和靜態障礙物保持安全距離時，獎勵最高。

方法

異質時空圖

在每個時間步 $t$ ，圖 $G_t = (V_t, E_t)$ 的節點包括：偵測到的人 $h^t_1, \ldots, h^t_n$ 、機器人 $w_t$ 、以及一個代表所有障礙物點雲的障礙物節點 $o_t$ 。

空間邊代表節點之間的空間互動。不同的互動對機器人決策的影響不同：

機器人—人（RH）邊：機器人能控制自己、但控制不了人，所以 RH 互動對機器人動作有直接影響
人—人（HH）邊：HH 互動有間接影響。例如 A 強行把 B 擠到機器人前面，機器人就得因為 A、B 之間的互動而反應
障礙物—代理人（OA）邊：代理人是動態的、障礙物是靜態的，所以代理人之間的互動是相互的，障礙物對代理人的影響是單向的

三種邊各有一個神經網路參數化的函數。跟忽略某些邊的研究相比，這讓機器人能推理所有觀察到的空間互動。

所有代理人的移動讓每個人的可見性動態變化，節點、邊、互動函數都可能隨之改變。所以再加一個時間函數連結相鄰時間步的圖，克服反應式策略的短視，讓機器人能做長期決策。

同類型的邊共享參數，人數變化時參數量保持不變，這對擴展性很重要。

HEIGHT 網路架構

從異質時空圖推導出網路：

shell

人的狀態 h₁…hₙ ──► HH 注意力（人對人的自注意力）
                          │
機器人狀態 w ──────────► RH 注意力（以機器人為 key 再加權一次）
                          │
障礙物點雲 o ──► 1D-CNN ──┤
機器人狀態 w ──► 全連接 ──┤
                    串接 ──► GRU ──► 全連接 ──► 價值 V(s) / 策略 π(a|s)

注意力的基本形式（帶遮罩的縮放點積注意力）：

\text{Attn}(Q, K, V, M) = \text{softmax}\left(\frac{QK^\top + M}{\sqrt{d}}\right)V

人—人注意力：把所有人目前的狀態串起來，經過線性層得到 $Q_{HH}, K_{HH}, V_{HH}$ ，做人與人之間的自注意力，學習每條 HH 邊對機器人決策的重要性。

遮罩 $M$ 的作用：處理每個時間步偵測到的人數變化。如果第 $n$ 個人在時間 $t$ 看不到， $M$ 的第 $n$ 欄全部設為 $-\infty$ ，softmax 後那個人的權重就是 0，完全不影響結果。這讓網路不會去注意偵測不到的人——因為感測範圍有限、遮擋、人體偵測器不完美，部分可觀測在人群導航中很常見。遮罩也提供無偏的梯度，穩定並加速訓練。

機器人—人注意力：人經過 HH 注意力加權後，再用另一個注意力網路以機器人為準加權一次：

Q_{RH} = v_{HH}W^Q_{RH}, \qquad K_{RH} = w_tW^K_{RH}, \qquad V_{RH} = v_{HH}W^V_{RH}

注意這裡機器人狀態當 key，加權過的人的特徵當 query 和 value。

障礙物與時間：障礙物點雲經過 1D-CNN 和全連接層得到障礙物嵌入 $v_O$ ；機器人狀態經過線性層得到 $v_R$ 。三者串接後送進 GRU：

h_t = \text{GRU}\big(h_{t-1},\ [v_{RH}, v_R, v_O]\big)

GRU 的隱藏狀態再經過全連接層，輸出價值 $V(s_t)$ 和策略 $\pi(a_t \mid s_t)$ 。

作者也試過再加第三個「障礙物—代理人注意力」網路，但沒有幫助。原因是每個時間步代理人只跟點雲中的一小部分互動，不需要對整團點雲建模這些互動，簡單的串接就夠了。

訓練：用 PPO 在模擬器中訓練整個網路。訓練時從動作分佈取樣，測試時取機率最高的動作。不需要任何監督學習，所以不受專家示範的表現限制；為了改善強化學習資料效率低的問題，也可以結合模仿學習。

這個方法把複雜場景拆成獨立的元件、把複雜問題拆成較小的函數，但拆解不會切斷梯度流，整個網路仍然可以端到端訓練。

模擬實驗

設定

模擬器：PyBullet，12 m × 12 m 的場地
每個回合隨機初始化矩形障礙物的形狀和位置（長寬取自 $\mathcal{N}(1, 0.6^2)$ ，限制在 0.1～5 公尺）；人和機器人的初始位置隨機；機器人起點到目標的距離 5～6 公尺
有些人是靜止的、有些是動態的；動態的人目標設在初始位置的對面，形成交叉的情境。抵達目標或在窄通道前卡住超過 10 步，就立刻換新的隨機目標，模擬持續的人流
動態的人由 ORCA 控制，80% 不會對機器人反應、20% 會反應。這個混合設定避免網路學出極端激進的策略（逼所有人讓路來拿高獎勵），同時保留足夠的反應式人類以接近真實人群行為
人的偏好速度 0.4～0.6 m/s，配合機器人速度；控制頻率 0.1 秒，每回合最多 491 步（49.1 秒）
訓練時 5～9 個人（0～2 個靜止）、8～12 個障礙物

測試：500 個隨機、未見過的回合（每個回合由沒在訓練中用過的種子決定人數、障礙物數、起點終點、障礙物大小與位置，只有四面牆不變）。五種密度：

環境	人數	障礙物數	是否在訓練分佈內
訓練分佈	5～9	8～12	是
人較少	0～4	8～12	否
人較多	10～14	8～12	否
障礙物較少	5～9	3～7	否
障礙物較多	5～9	13～17	否

比較方法

方法	場景表示	導航演算法
DWA	人和障礙物都是圓	把人當障礙物，不建模互動
ORCA	人是圓 + 障礙物是線段	以速度障礙物的最佳化建模所有互動
A* + CNN	人和障礙物都是 LiDAR 點雲	A* + 強化學習策略，不建模互動
DS-RNN	人和障礙物都是圓	強化學習，只有 RH 注意力 + GRU
DRL-VO	人是佔據地圖 + 兩者都是點雲	純追蹤 + 強化學習，不建模互動
HomoGAT	人是圓 + 障礙物是點雲	從時空圖推得的強化學習，所有互動共用注意力權重
HEIGHT	人是圓 + 障礙物是點雲	從時空圖推得的強化學習，每種互動各自的函數

所有強化學習方法用相同的訓練步數和 PPO 超參數。

結果：成功率

方法	訓練分佈	人較少	人較多	障礙物較少	障礙物較多
DWA	0.16	0.29	0.11	0.17	0.14
ORCA	0.34	0.42	0.26	0.42	0.30
A* + CNN	0.64	0.84	0.47	0.66	0.48
DS-RNN	0.80	0.72	0.76	0.66	0.71
DRL-VO	0.59	0.82	0.50	0.70	0.55
HomoGAT	0.86	0.95	0.72	0.88	0.80
HEIGHT	0.88	0.97	0.78	0.90	0.84

HEIGHT 成功的回合平均導航時間（秒）：18.31、16.32、19.69、17.20、18.79，在所有環境都是最短。

分析一：場景表示的效果

DWA 把人當障礙物，五種環境中平均撞人率最高（0.54），還有凍結問題，平均逾時率最高（0.21）——機器人緊貼著所有東西走，來不及避開人
DS-RNN 把障礙物表示成一群圓，在人較多的環境表現比障礙物較多的環境好；平均撞障礙物率最高（0.13），而且在四個分佈外環境撞障礙物率都上升，顯示過擬合。障礙物比例越高，撞障礙物率增加得越多：在障礙物比例最高的「人較少」環境，撞障礙物率從訓練分佈的 0.09 增加到 0.21（增加 133%）；在障礙物比例最低的「人較多」環境反而下降到 0.06。原因是 DS-RNN 很難從一大群圓推斷障礙物的幾何形狀
A* + CNN：A* 全域規劃器不考慮人，CNN 局部規劃器把所有觀測都當 2D 點雲。平均逾時率最高（0.10）、導航時間最長（18.99 秒）。一是隨著代理人移動，路徑點失去最佳性；二是人和障礙物混在輸入中，策略難以區分動態和靜態障礙物，會跟所有東西保持很大距離，不夠靈活
DRL-VO 除了點雲還加入人的佔據地圖，在人數變化時泛化較好（佔據地圖大小固定），但佔據地圖維度高很多，在同樣的訓練預算下容易欠擬合

結論：把人和障礙物分開表示的 HomoGAT 和 HEIGHT 在大部分指標和環境中是前兩名。HEIGHT 學會跟人的路徑保持較大距離、跟障礙物保持較小距離，在安全和效率之間取得平衡，五種環境中總碰撞率最低（平均 0.17）。例如遇到一道又長又細的牆，機器人會繞過去，因為牆不會讓開；遇到擋路的人，機器人會等他過去再繼續，因為人只是暫時擋住。

分析二：異質圖的效果

ORCA 只在目前時間步把 RH 和 OA 互動建模成速度障礙物，成功率倒數第二，撞障礙物率特別差。所有勝過 ORCA 的方法都有搜尋式規劃器或循環網路，說明 HH 互動和長期時間推理的重要性。不過 ORCA 在多數環境的平均路徑最短，因為它貪婪地朝目標走
A* + CNN 對比 HomoGAT：A* + CNN 輸入和網路架構都沒有結構，在所有環境的平均成功率（0.62 對 0.84）、導航時間（25.32 對 18.52）、路徑長度（12.32 對 10.40）都比只有簡單時空圖的 HomoGAT 差很多，跨四個分佈外環境的變異也大得多。即使是簡單的時空圖結構都能帶來效能提升
HomoGAT 對比 HEIGHT：HomoGAT 沒有區分 RH 和 OA 互動，機器人對人和障礙物保持類似的距離，但對人需要保持更大的距離，所以容易發生碰撞。HEIGHT 用不同元件處理三種邊，平均成功率（0.87）、導航時間、路徑長度（10.33）都最好，大部分指標跨環境的變異也最小，顯示對分佈變化的穩健性。它會選擇避開最擁擠的區域、必要時讓人先過、並為了效率貼近牆走

分析三：注意力網路的重要性（消融）

版本	訓練分佈	人較少	人較多	障礙物較少	障礙物較多
沒有注意力	0.52	0.72	0.29	0.55	0.43
只有 RH	0.85	0.89	0.70	0.86	0.77
只有 HH	0.87	0.94	0.74	0.88	0.84
RH + HH	0.88	0.97	0.78	0.90	0.84

兩個注意力都有最強，其次是只有一個，最差是都沒有
在最難的人較多和障礙物較多環境，有任一個注意力都能讓平均成功率比沒注意力分別提升 0.38 和 0.43
HH 注意力比 RH 注意力更重要，在障礙物較多的環境甚至跟完整版一樣好。原因是多數情況下 HH 邊比 RH 邊多得多，機器人觀察到、也受到更多人與人互動的影響

失敗案例

HEIGHT 通常在兩種情況下碰撞：

一個人到達目標後突然轉向去新的目標
周圍極度擁擠又受限，幾乎所有可行路徑都被人擋住

這些情況下受限於速度上限，機器人有時來不及換到另一條路。作者建議未來可以結合動作基元和考慮行人運動隨機性的路徑規劃演算法，彌補強化學習在長期決策上的困難。

真實世界實驗

縮小模擬到真實的落差

在模擬器中對觀察到的代理人位置和機器人動力學模型注入高斯雜訊，讓策略更穩健
依據部署環境的人流觀察和環境配置，在模擬器中設計行人路線
嚴格複製 ZED 2i 相機的感測範圍（120° 視野、人只在相機一定距離範圍內可偵測），用帶有實測延遲的運動學自行車模型
真實行人通常比較保守、會跟機器人保持距離，所以模擬中所有人都會以較大的安全空間對機器人反應；視野外的人如果要撞上機器人，就停住直到離得夠遠
在模仿目標環境的模擬中微調後，真實世界不做任何額外訓練

對照實驗

在走廊和休息室，所有行人的軌跡固定以公平比較。比較 ROS 導航堆疊（A* 全域 + DWA 局部）和 DRL-VO，每種方法共 30 次，起點終點固定：

環境	方法	成功率	碰撞率	逾時率	導航時間（秒）
走廊（1～2 人，18 次）	ROS 導航堆疊	0.72	0.06	0.22	16.71
	DRL-VO	0.50	0.50	0.00	29.33
	HEIGHT	1.00	0.00	0.00	22.36
休息室（1～6 人，12 次）	ROS 導航堆疊	0.83	0.17	0.00	32.00
	DRL-VO	0.67	0.33	0.00	28.91
	HEIGHT	0.83	0.17	0.00	30.71

走廊（極窄、人少）：ROS 導航堆疊常需要原地旋轉重新規劃，部分失敗變成逾時；它的全域和局部規劃器都把人當障礙物，難以區分「會讓開的動態障礙物」和「永遠在那裡的靜態障礙物」。DRL-VO 的大輸入表示和網路在這種高度受限的環境中探索困難，欠擬合，常撞到障礙物或來回打轉。HEIGHT 成功率 100%：能在窄走廊中安全地跟人錯身、轉進窄門時大轉彎讓出空間讓人先出來，再進入極窄的門口
休息室（較寬、人較多）：DRL-VO 碰撞率最高，因為欠擬合，加上只有它需要人的速度當輸入，速度估計的雜訊讓問題更嚴重。ROS 導航堆疊和 HEIGHT 成功率和碰撞率相同，因為空間夠大，ROS 導航堆疊可以「停下來等」；但代價是平均抵達時間較長。HEIGHT 則依不同的時空互動調整行為，例如面對兩側交錯走來的行人，先左轉避開右邊的人、再右轉避開左邊的兩個人。兩種方法的失敗都是因為桌椅位置變了、而人工點雲是從過時的地圖產生的，改用即時感測點雲可以緩解

野外部署

在兩個人很多、行人沒有排練的公共空間：

中庭（十多到二十多人）：人群稀疏時，機器人會以較大的安全距離繞過行人，盡量讓他們保持在視野內；人群密集時，機器人暫時停下、不斷調整朝向尋找有足夠空間前進的方向，等行人過去後立刻繼續
戶外（35 人以上）：行人形成雙向人流，機器人展現聰明的策略——併入同方向的人流；空間夠時繞道，所有路徑都被擋住時減速

這些觀察顯示 HEIGHT 學到了一個能適應機器人自身限制、對模擬到真實落差穩健的策略。

經驗與限制

作者整理了幾點心得：

模擬到真實：模擬流程的設計要以真實世界的硬體和環境限制為準。輸入表示要依據感測器和感知模組能取得什麼、精度多少來決定；用中間特徵（偵測到的人位置、處理過的點雲）比原始感測資料更能縮小落差。限制：部署前仍需在模仿目標環境的模擬中微調。未來方向包括更自然的行人模型取代 ORCA、真實世界中的失敗偵測與自監督微調、用少量真實資料自動調整模擬器參數

場景表示：好的表示應該配合下游任務。人小而形狀簡單，當成移動的圓就夠；障礙物大而形狀複雜，面向機器人的那一面最重要，點雲最直觀。限制：抽象化會丟失步態、障礙物 3D 形狀等細節；感知模組和策略之間有誤差累積（人體偵測不準、定位不準）

結構化神經網路：模型方法需要的資料擬真度低但假設多；端到端學習假設少但需要高擬真資料。結構化學習兩者兼得——需要的資料擬真度低、假設也少。限制：利用了人類行為的歸納偏置，不重新訓練就無法推廣到自駕車等其他任務

訓練方法：強化學習的固有限制——需要模擬器、資料效率低、長時距任務困難；真實世界中不可避免的分佈變化會讓效能下降。未來可結合其他規劃器、模仿學習或基礎模型

其他未來方向：多機器人導航（把其他機器人當成額外節點和邊）、社會感知（目前只最佳化成功率和效率，沒有明確的社會規範機制）

影響與定位

HEIGHT 的核心觀點是：結構要同時注入在輸入表示和網路架構中，而且兩者要相互配合。

輸入層面：人用低維狀態、障礙物用點雲，各自保留導航最需要的資訊
架構層面：從異質時空圖有原則地推導出網路，每種互動對應一個模組，增加黑盒網路的透明度

跟同樣是導航的 VAMOS 比較，可以看出兩種不同的出發點：

	HEIGHT	VAMOS
主要挑戰	密集人群 + 狹窄空間中的互動	開放世界地形 + 跨機器人形態
決策方式	強化學習策略直接輸出加速度	VLM 提出候選路徑 + affordance 模型挑選
處理人的方式	明確建模人與人、人與機器人的互動	透過語言引導（例如「繞開前面的人」）
訓練資料	低擬真模擬器	異質真實世界導航資料 + 模擬

參考資料

Liu, S., Xia, H., Cheraghi Pouria, F., Hong, K., Chakraborty, N., Hu, Z., Biswas, J., & Driggs-Campbell, K. (2025). HEIGHT: Heterogeneous Interaction Graph Transformer for Robot Navigation in Crowded and Constrained Environments. IEEE Transactions on Automation Science and Engineering. arXiv:2411.12150
專案頁：sites.google.com/view/crowdnav-height