單目、雙目、RGB-D:機器人視覺感測器該怎麼選
2026-09-02
「看到深度」這件事,有三種完全不同的做法
機器人要理解環境的三維結構,核心需求是取得深度資訊——這件事在感測器層面有三種主流做法:單目相機靠演算法從單張影像間接推算深度,雙目相機靠兩顆相機的視差直接三角測量,RGB-D 相機則用主動投射紅外線直接量測反射時間或形變。三種方案的物理原理完全不同,這也直接決定了它們在不同應用場景裡的表現差異。
單目相機:成本最低,但深度是「猜」出來的
單目相機本身只能拍到一張二維影像,沒有任何直接的深度量測機制,深度資訊必須靠演算法從單張(或連續多張)影像的間接線索推算——包括物體已知尺寸的先驗知識、影像中的透視消失線索,以及機器人或相機本身移動時同一物體在連續幀之間位置變化產生的運動視差。近年深度學習模型(單目深度估計網路)大幅提升了這種間接推算的精度,但本質上仍然是統計推論而非直接量測,精度天花板受限於訓練資料的分布與場景的相似程度,遇到訓練時沒見過的場景類型,深度估計的可靠度會明顯下降。優勢是硬體成本極低、不需要精密的多相機校正,這也是部分自駕車與消費級機器人選擇用單目視覺方案降低整體硬體成本的原因。
雙目相機:靠視差直接三角測量,但基線長度限制了有效距離
雙目立體相機模仿人類雙眼視覺原理——兩顆相機以已知的固定間距(基線,baseline)並排安裝,同一個物體在兩顆相機影像中的水平位置差異(視差,disparity)跟物體到相機的距離成反比關係,透過三角測量公式直接算出深度:
其中 是深度、 是相機焦距、 是基線長度、 是視差。這個公式也直接點出雙目方案的物理限制——物體距離愈遠,視差 愈小,當 小到接近相機解析度能區分的極限,深度估計的精度就會快速惡化,這也是為什麼雙目相機的有效測距範圍通常侷限在幾公尺到十幾公尺內,基線愈長理論上能測得愈遠,但基線加長也代表相機模組體積變大,這是雙目方案在機構設計上的另一層取捨。
RGB-D:主動感測換取直接深度量測,代價是怕陽光
RGB-D 相機透過主動投射結構光(把已知圖案的紅外線光斑投射到場景上,依圖案形變推算深度)或飛時測距(ToF,直接量測發射光脈衝到接收反射光的時間差)取得深度資訊,不需要像雙目相機那樣依賴視覺特徵匹配,在缺乏紋理的平坦表面(白牆、單色桌面)上也能穩定取得深度,這是雙目與單目視覺方案的共同弱項——兩者都依賴影像特徵匹配或學習到的視覺線索,在缺乏紋理的表面上容易失效。但主動投射紅外線的機制,讓 RGB-D 相機在戶外強烈陽光下會明顯失效——陽光本身富含紅外線能量,會直接淹沒相機主動投射的微弱訊號,這也是為什麼 RGB-D 相機幾乎只用在室內或光線可控的場景,本站在抓取偵測方法比較一文中提到的 GG-CNN、Contact-GraspNet 等方法,多數也是以 RGB-D 相機作為主要感測輸入,正是看中室內操作場景下 RGB-D 直接量測深度的穩定性優勢。
選相機方案,本質是選一組物理限制
三種相機方案沒有絕對的優劣,只有跟應用場景物理條件是否匹配的問題——戶外自駕車需要應付強烈陽光與遠距離測距需求,RGB-D 完全不適用,多半在光達之外搭配單目或雙目視覺方案;室內機械手臂操作距離短、光線可控,RGB-D 的直接深度量測與紋理無關的穩定性就是明顯優勢;成本極度敏感、且能接受深度估計精度妥協的應用,單目視覺搭配深度學習模型是最經濟的選擇。理解這三種方案背後的物理原理限制,遠比單純比較規格表上的解析度或幀率數字,更能判斷哪一種方案真正適合特定的部署環境。
常見問題
- 單目相機沒有直接的深度感測能力,為什麼還有這麼多自駕車系統選擇用單目相機做感知?
- 單目相機的深度估計確實不是直接量測,而是要靠深度學習模型從單張影像的透視線索、物體已知尺寸先驗、運動視差(車輛移動時同一物體在連續幾幀影像裡的位置變化)等間接資訊推算出深度,這種方式的精度天生不如直接量測的雙目或光達方案。但單目相機的優勢在於成本極低、且不受立體相機在遠距離時基線長度不足導致精度下降的物理限制——雙目相機的深度估計精度隨著物體距離增加會快速惡化(因為視差角度隨距離增加而縮小),單目深度估計模型雖然精度也會隨距離下降,但下降曲線相對平緩,這也是為什麼部分自駕車廠商選擇用大量便宜的單目相機搭配強大的深度學習模型,作為光達的低成本替代或輔助方案,用演算法的進步彌補感測器本身在物理原理上的先天限制。
- RGB-D 相機看起來功能最完整,為什麼不是所有機器人都用它,還要分成室內室外不同方案?
- RGB-D 相機的深度感測技術(結構光或飛時測距 ToF)多半仰賴主動投射紅外線並量測反射訊號,這個機制在戶外強烈陽光下會明顯失效——太陽光本身包含大量紅外線波段的能量,會直接淹沒相機主動投射的微弱紅外線訊號,導致深度感測完全失準或雜訊爆增,這是 RGB-D 相機在物理原理上難以克服的限制,也是為什麼幾乎所有 RGB-D 相機的應用場景都侷限在室內或至少是遮蔽良好的環境(居家機器人、機械手臂桌面操作),戶外自駕車與無人機幾乎不會依賴 RGB-D 相機做主要感知,而是改用不受環境光影響的光達,或搭配雙目/單目相機做視覺感知。
- 雙目相機需要兩顆相機同時運作,會不會比單顆 RGB-D 相機更難維護校正?
- 會,這是雙目方案一個經常被低估的實務挑戰。雙目立體視覺的深度估計精度直接依賴兩顆相機之間精確已知的相對位置與朝向關係(外部參數校正),任何因震動、溫度變化、機構老化導致的相機位置微幅偏移,都會直接影響深度估計精度,這也是為什麼雙目相機系統通常需要定期重新校正,或搭配線上自我校正演算法持續微調外部參數估計。RGB-D 相機的深度感測模組通常是廠商在出廠前就已經完成精密校正的一體式模組,使用者端不太需要處理校正問題,這也是為什麼即使 RGB-D 在強光環境下有明顯限制,在可控的室內環境裡,它的部署與維護便利性仍然是雙目方案比不上的優勢。
- monocular-camera
- stereo-camera
- rgbd-camera
- depth-estimation
- perception
訂閱 RoboTech Lab 電子報
每週一封,整理新的教學、論文導讀與機器人業界動態。隨時可以取消訂閱。