論文導讀：Dex-Net 4.0——讓機械手臂自己決定該用吸盤還是夾爪

Jeffrey Mahler, Matthew Matl, Vishal Satish, Michael Danielczuk, Bill DeRose, Stephen McKinley, Ken Goldberg · 2019原文連結

論文資訊卡

  • 標題：Learning Ambidextrous Robot Grasping Policies
  • 作者：Jeffrey Mahler、Matthew Matl、Vishal Satish、Michael Danielczuk、Bill DeRose、Stephen McKinley、Ken Goldberg（UC Berkeley AUTOLAB）
  • 發表：Science Robotics, 2019
  • 系列定位：Dex-Net（Dexterity Network）系列的第四代，前作 Dex-Net 2.0／3.0 分別針對平行夾爪與吸盤各自獨立研究

問題背景

真實倉儲揀貨場景裡的物體種類極度多樣——有些物體（例如平坦的書本、包裝盒）適合用吸盤直接吸附抓取，有些物體（例如有把手的杯子、形狀不規則或表面透氣多孔、吸盤貼不緊的物件）則只有平行夾爪的夾持動作才抓得起來。單一種夾爪沒辦法可靠處理所有物體類型，這是倉儲自動化領域一個實際且長期存在的痛點。Dex-Net 系列先前的版本分別針對吸盤（Dex-Net 3.0）與平行夾爪（Dex-Net 2.0）各自訓練獨立的抓取品質預測模型，Dex-Net 4.0 要解決的問題是：如何讓系統在面對一個未知物體時，自動判斷該用哪一種夾爪、以及該在哪裡下手。

方法核心：兩套獨立網路 + 領域隨機化合成資料

Dex-Net 4.0 分別為平行夾爪與吸盤訓練兩套獨立的抓取品質卷積神經網路（Grasp Quality CNN, GQ-CNN），輸入都是同一份場景點雲，但各自輸出對應夾爪類型下每個候選抓取點的預期成功機率。訓練資料完全來自模擬：作者用超過 1664 個獨特的 3D 物體模型，在模擬環境中隨機堆疊成雜物堆（heap），搭配物理與幾何的解析模型計算每個候選抓取點的理論品質分數，並透過領域隨機化（domain randomization，隨機擾動物體的摩擦係數、感測器雜訊、相機視角與光照這類參數）產生跟真實世界統計特性夠接近的合成訓練資料，總計超過 500 萬筆帶標註的抓取樣本。這個完全依賴合成資料訓練、不需要真實世界人工標註的策略，是 Dex-Net 系列從 2.0 版本延續下來的核心方法論。

推論階段，系統把同一個場景分別餵給兩套 GQ-CNN，取得兩種夾爪各自的最佳候選抓取點與對應的預測品質分數，再依這兩個分數比較選出整體品質更高的方案——決定要用吸盤還是夾爪，以及要抓在哪個位置，這整個決策過程都是根據學習到的品質預測值自動完成的，不需要人工設計「什麼形狀該用哪種夾爪」這類規則。

實驗結果

在配備平行夾爪與吸盤兩種末端執行器的真實機器人上，Dex-Net 4.0 對最多 25 種未見過物體混雜堆放的料箱進行揀選，能持續維持超過 95% 的抓取成功率，速度達到每小時 300 次以上——這個「95% 成功率 + 每小時 300 次」的組合，在論文發表當時是雙夾爪揀選任務裡具代表性的效能基準，也直接對應到本站另一篇報導 Amazon Vulcan 力覺抓取系統 討論的倉儲自動化痛點——面對高度多樣化的真實倉儲品項，單一感測模態或單一夾爪類型的抓取系統存在天花板，Dex-Net 4.0 從「多夾爪動態選擇」這個角度提供了另一種提升可處理物件範圍的解法路徑。

影響與定位

Dex-Net 4.0 展示的「領域隨機化 + 純合成資料訓練」方法論，是機器人抓取研究裡影響最深遠的訓練範式之一——完全繞開了真實世界資料蒐集與人工標註的高昂成本，只要有夠精確的物理與幾何解析模型，就能在模擬環境裡近乎無限量地產生訓練資料，這條思路後續也被 AnyGrasp 等大規模抓取生成系統延續採用。「雙夾爪動態選擇」的設計思路，也預示了現代倉儲機器人系統普遍配備多種末端執行器、依物體特性動態切換的產品設計方向。

相關論文推薦

參考資料