抓取

從 2D 像素級生成、6 自由度點雲抓取,到雙臂擴散生成與視覺推觸覺,機械手臂抓取的論文導讀。

論文導讀:AnyGrasp——把稠密 6 自由度抓取生成與時序追蹤合而為一

拆解 AnyGrasp 如何用稠密(dense)抓取生成取代單一最佳解、用 Embedding 相似度匹配取代 Kalman Filter 做抓取追蹤、並用多視角靜態場景生成時序監督訓練資料,在真實機器人上做到每小時 900 次以上的動態抓取。

閱讀導讀

論文導讀:CGDF——用擴散模型在大型複雜物體的指定區域生成雙臂抓取

CGDF 用 SE(3) 擴散模型生成 6 自由度抓取,加入卷積平面特徵捕捉局部幾何,再用「部位引導擴散」讓只學過一般抓取的模型直接在指定部位(例如椅子扶手)生成抓取,不需要額外標註的約束資料集,適用於雙臂抓取大型物體。

閱讀導讀

論文導讀:Contact-GraspNet——把 6 自由度抓取降維成 4 自由度來學

拆解 Contact-GraspNet 如何把抓取表示法「錨定」在觀測到的點雲接觸點上,將原本 6 維的抓取姿態預測問題降維成 4 維,直接從雜亂場景的深度影像端到端生成大量抓取候選。

閱讀導讀

論文導讀:DAGDiff——在擴散過程中直接引導雙臂抓取走向力穩定、不碰撞

DAGDiff 把雙臂抓取當成 SE(3)×SE(3) 空間中的一個整體來擴散生成,用力封閉分類器和碰撞分類器的梯度引導去噪過程,不需要先選區域或靠語言模型切部位,力封閉率 60.1%、模擬成功率 72.5%,約為既有方法的兩倍,並在真實雙臂系統上零樣本執行。

閱讀導讀

論文導讀:Dex-Net 4.0——讓機械手臂自己決定該用吸盤還是夾爪

拆解 Dex-Net 4.0 如何用領域隨機化生成的合成資料,分別訓練吸盤與平行夾爪兩套獨立的抓取品質網路,再依預測品質動態選擇最適合的夾爪,在真實機器人上做到每小時 300 次以上、成功率超過 95% 的雙夾爪揀選。

閱讀導讀

論文導讀:FELT——從相機畫面「猜出」夾爪的觸覺訊號,讓沒有觸覺感測器的資料也能訓練觸覺策略

FELT 用凍結的 DINOv2 加上左右手指分開的查詢解碼器,從單張魚眼 RGB 影像生成兩指夾爪的 12×32 壓力觸覺圖,生成一次只要 20 毫秒。生成的觸覺圖或中間的潛在觸覺特徵都能讓擴散策略在四個接觸密集任務上勝過純視覺,潛在特徵版本訓練與部署都不需要真實觸覺感測器。

閱讀導讀

GG-CNN 論文導讀:用像素級生成取代候選抓取評分

GG-CNN 把機械手臂抓取偵測從「產生大量候選抓取再逐一評分」改成「直接生成整張像素級抓取地圖」,讓抓取偵測能以 50Hz 即時執行,並支援閉迴路抓取。

閱讀導讀

GGCNN2 論文導讀:用空洞卷積擴大感受野的即時抓取網路

GGCNN2 是 GG-CNN 的改良版,透過 MaxPooling、Dilated Convolution 與 Bilinear Upsampling 擴大有效感受野、消除反卷積棋盤格偽影,在幾乎不犧牲推論速度的前提下提升抓取精度。附完整 PyTorch 原始碼對照。

閱讀導讀

論文導讀:GR-ConvNet——用殘差卷積網路生成抓取,Jacquard 上達到 94.6%

GR-ConvNet 延續 GG-CNN 的像素級生成思路,加入殘差層與 RGB-D 多模態輸入,用 190 萬參數在 20 毫秒內輸出品質、角度、寬度三張圖,Cornell 達 97.7%、Jacquard 達 94.6%,真實手臂抓取成功率 95.4%。

閱讀導讀

論文導讀:GraspNet-1Billion——雜亂場景、6 自由度、10 億筆抓取標註的通用抓取基準

GraspNet-1Billion 用真實相機拍攝 190 個雜亂場景、97,280 張 RGB-D 影像,再用力封閉解析計算自動標註超過 10 億個 6 自由度抓取姿態,並提出統一的線上評測方式與 Approach / Operation / Tolerance 三段式基線網路。

閱讀導讀

論文導讀:GSNet——先找出「哪裡值得抓」,雜亂場景的快速精準抓取偵測

GSNet 提出 graspness:用前瞻搜尋算出每個點、每個方向有多少比例的抓取可行,並訓練級聯模型快速預測,只在高 graspness 區域取樣。在 GraspNet-1Billion 上 AP 比前一代方法提升約一倍,推論只要 0.1 秒,後來整合進 AnyGrasp。

閱讀導讀

論文導讀:Jacquard——用物理模擬自動生成百萬筆抓取標註的大型資料集

Jacquard 用 ShapeNet 的 CAD 模型在 pyBullet 裡實際模擬抓取,自動產生 5.4 萬張 RGB-D 影像與超過 100 萬個成功抓取位置,並提出以模擬抓取試驗(SGT)取代矩形 IoU 的評估方式。

閱讀導讀

論文導讀:用 GG-CNN 抓取複雜形狀與細薄物體——以手術工具為例

拆解 Kim et al. (2023) 如何結合 GG-CNN/GGCNN2 與獨立的顏色分割深度估計模組,處理手術工具這類形狀複雜、細薄難抓的物體,並檢視論文四種編碼器-解碼器變體實驗裡數據與論述之間站不住腳的落差。

閱讀導讀