論文導讀：FELT——從相機畫面「猜出」夾爪的觸覺訊號，讓沒有觸覺感測器的資料也能訓練觸覺策略

一句話讀懂這篇論文

視覺加觸覺做出來的操作策略比只有視覺好，但觸覺感測器又貴又脆弱、規格不統一，所以大部分機器人資料集都只有影像、沒有觸覺。FELT 的想法是：只要相機拍得到夾爪、物體和接觸的地方，畫面本身就藏著「哪裡在接觸、壓多大力」的線索。所以訓練一個模型，從 RGB 影像直接生成觸覺圖，就能幫只有影像的舊資料「補上」觸覺，甚至在部署時完全拿掉觸覺感測器。

論文資訊卡

• 標題：FELT: Generating Tactile Signals from Vision for Visuo-Tactile Manipulation
• 作者：Zinan Li、Yiyang Ling（共同一作）、Yuming Gu、Binghao Huang、Chenhao Liang、Sharfin Islam、Hisham Bedri、John Chirikjian、Yunzhu Li、Stefanos Nikolaidis、Daniel Seita
• 機構：南加大（USC）Viterbi 工學院、哥倫比亞大學、Starpilot
• 發表：arXiv 2026 年 7 月（2607.20683）
• 專案頁：felt-tactile.github.io
• FELT 全名：Feature-Extracted Latent Tactile

問題背景

觸覺為什麼重要

視覺提供全域的場景資訊，觸覺提供局部、高解析度的接觸訊號，兩者互補。在視覺被遮擋或模糊時——例如夾爪擋住了杯子邊緣、插入時看不到孔的深處——觸覺就特別關鍵。已有研究顯示，視覺加觸覺的策略在插銷、擦桌子、手內旋轉等接觸密集任務上，表現優於只用任一種。

觸覺資料的瓶頸

• 觸覺感測器需要專門、脆弱的硬體和仔細校正
• 大型模仿學習資料集靠昂貴的遙操作蒐集，通常只有視覺
• 越來越多用手持介面（例如 UMI）蒐集的大型純視覺資料集，幾乎都沒有觸覺
• 視覺資料增強已經研究得很多（換背景、換物體、合成新視角、世界模型生成新畫面），觸覺資料增強卻很少

相關工作中，ControlTac 用一張固定的參考觸覺圖做變形來生成觸覺；ViTacGen 做推物任務的視覺到觸覺生成；也有研究在不同觸覺感測器之間轉換訊號。FELT 的目標是更通用的：從 RGB 生成物理上一致的壓力觸覺圖，部署時不需要任何來源觸覺訊號，也不限定特定任務。同期也有一篇 TacImag 獨立提出類似的方向（從視覺和本體感覺預測觸覺）。

問題定義

有 $N$ 條成對的真實示範 $\mathcal{D} = \{\tau_i\}$，每條軌跡是一連串的（視覺, 觸覺, 動作）：

• $I^{vis}_t \in \mathbb{R}^{H\times W\times3}$：RGB 影像，來自魚眼相機，畫面中看得到夾爪和接觸區域
• $I^{tac}_t \in \mathbb{R}^{12\times32\times2}$：兩根手指各一片 12 × 32 的壓力分佈圖
• $a_t$：機器人動作（例如末端姿態變化）

目標是學一個映射 $G_\theta: I^{vis}_t \to I^{tac}_t$，幫缺少觸覺的純視覺軌跡合成物理上一致的觸覺觀測。

方法：FELT 架構

魚眼 RGB 影像
      │
凍結的 DINOv2 ViT（多層特徵取平均）── 視覺 token
      │
 ┌────┴──────────────────┐
 ▼                       ▼
左手指查詢 12×32        右手指查詢 12×32
（可學習 + 2D 位置嵌入）  （可學習 + 2D 位置嵌入）
 │  自注意力 → 交叉注意力   │
 │ ◄── 門控跨面板交換 ──► │   × 2 層
 ▼                       ▼
面板感知卷積讀出頭（共享，帶左/右側嵌入）
      │
每格：接觸機率 + 壓力強度

1. 凍結的視覺編碼器

用預訓練的 DINOv2 ViT 抽視覺 token，權重不更新。把多個網路深度的特徵取平均，同時保留低層的紋理資訊和高層的語意資訊——接觸判斷既需要看清楚夾爪邊緣的細節，也需要理解「這是在擦東西」這種情境。

2. 雙分支查詢解碼器：尊重感測器的物理結構

左右兩根手指是兩片分開的表面，接觸模式常常不同。例如擦拭時往左擦，左手指的壓力變弱，右手指會有局部的接觸變化；手內旋轉、插入時兩邊也不對稱。所以：

• 每片面板有自己一組 12 × 32 的可學習查詢嵌入，數量剛好對應感測器的實體格點
• 查詢加上 2D 位置嵌入（行、列分解）
• 每個分支有獨立的 Transformer 解碼器，查詢透過交叉注意力去「看」視覺 token

3. 門控跨面板交換

雖然兩邊分開解碼，但兩根手指的接觸是協調的（夾東西時兩邊都會受力）。每一層解碼器之後，有一個門控的跨面板交換模組讓兩個分支交換資訊，推理協調的接觸。

4. 面板感知卷積讀出頭

兩個分支共用一個讀出頭：把解碼後的查詢重新排成 2D 格子，經過殘差深度可分離卷積區塊，加上可學習的左/右側嵌入來區分兩片面板，最後每一格輸出接觸 logit 和條件壓力強度。用卷積而不是逐點 MLP，是因為相鄰感測格的壓力是空間相關的。

訓練損失

把觸覺預測拆成「有沒有接觸」和「壓多大力」兩件事：

• 接觸損失：focal loss + dice loss。觸覺圖大部分格子是沒有接觸的，這兩種損失都是為了處理接觸/非接觸的類別不平衡
• 強度損失：依數值加權的 Huber loss，加重高壓力格子的權重，同時捕捉接觸的範圍和力的大小

三種使用方式

訓練好的同一個生成器 $G_\theta$，可以用三種方式接到下游：

潛在特徵保留了接觸的空間結構，又比像素級觸覺圖更平滑。

實驗設定

硬體：xArm7 手臂 + UMI 風格夾爪，夾爪手指貼著 FlexiTac 柔性壓阻式觸覺感測墊（每根手指 12 × 32 接觸強度圖）；RGB 來自手腕上的 GoPro Hero 9 加超廣角鏡頭模組。

生成器資料：Zhu 等人的成對視覺觸覺資料集，超過 2,700 段手持 UMI 示範、260 萬組 RGB-觸覺配對，80/20 切分。另外用 GELLO 遙操作在 xArm 上蒐集 30 段示範（7.2 萬幀）當測試集，物體和任務情境都沒在生成器訓練中出現過。

策略資料：每個任務 60 段 GELLO 示範，四個任務共 240 段、52 萬幀，跟生成器的訓練和測試資料都獨立。

四個接觸密集任務：

1. 試管插入：試管斜靠在盒子邊，要夾起、利用環境重新調整方向，再穩穩插進試管架
2. 疊杯子：四個塑膠杯倒放在桌上，要依序拿起疊成一疊，四個都完全疊好才算成功
3. 橡皮擦擦拭：杯子裡有一塊橡皮擦，旁邊有兩條麥克筆線，要拿起橡皮擦把字擦乾淨，五次擦拭內擦完才算成功
4. 三角柱插入：三角柱隨機方向躺在桌上，要夾起、轉正、插進三角形的孔

實驗結果一：觸覺生成品質

觸覺圖很稀疏（大部分是零），SSIM、PSNR 這類逐像素指標會被大片非接觸背景主導，看不出接觸相關的錯誤。所以用四個指標：

• LPIPS：感知相似度，越低越好
• 能量比：預測總壓力 ÷ 真實總壓力，越接近 1 越好
• 幀準確率：每片面板判斷為接觸/非接觸的準確率，越高越好
• 面板不對稱誤差：預測的左右壓力比跟真實比的絕對誤差，越低越好

比較方法：最近鄰（在 DINOv2 特徵空間找最像的訓練影像，回傳它的觸覺圖）、MAE（Zhu 等人的視覺觸覺遮罩自編碼器，把觸覺 token 全遮掉，只從 RGB 重建）。

• FELT 在 LPIPS、能量比、幀準確率上都最好，能量比 1.123 代表總壓力校準得最準
• MAE 的面板不對稱誤差較低，但能量比 4.597 表示它嚴重高估壓力，不算校準良好的預測
• 最近鄰的結果說明單靠 DINOv2 特徵相似度不足以預測接觸

消融告訴我們每個元件在做什麼：

• 拿掉面板交換：左右力平衡算錯，漏掉不對稱的接觸模式，面板不對稱誤差從 0.738 升到 1.175
• 拿掉雙分支解碼器（改成一個 24 × 32 的單一解碼器）：嚴重低估觸覺強度（能量比 0.122），幀準確率掉到 0.616，不對稱誤差變成三倍。證明尊重感測器的實體拓撲結構很重要
• 拿掉卷積讀出頭（改成逐點 MLP）：幀準確率掉到 0.665，局部空間處理比逐點解碼好

實驗結果二：下游策略成功率

所有策略都是建立在 Zhu 等人預訓練視覺觸覺編碼器上的擴散策略（Diffusion Policy），RGB 和觸覺分開編碼再用交叉注意力融合。為了隔離觸覺的貢獻，所有策略用同樣的 RGB 串流和 CLIP 視覺編碼器，FELT 只進入觸覺那條路。訓練 60 個 epoch，以 10 Hz 執行，每種方法每個任務測 20 次，交錯進行並隨機順序以減少偏差。作者也提醒：20 次試驗的二項標準誤約 7～11 個百分點，所以應該看跨任務的一致趨勢，而不是單格的小差異。

四種設定：

1. 只有視覺
2. 視覺 + 真實觸覺：訓練和部署都用實體感測器
3. 視覺 + FELT 觸覺：用真實觸覺訓練，部署時換成 FELT 生成的觸覺圖
4. 視覺 + FELT 特徵：訓練和部署都用 FELT 的潛在特徵，完全不需要真實觸覺

試管插入（夾取 / 轉向 / 插入）：

疊杯子（拿第一個 / 疊 1→2 / 疊 2→3 / 疊 3→4）：

橡皮擦擦拭（夾取 / 兩次內擦完 / 三次內 / 五次內）：

三角柱插入（夾取 / 插入）：

觀察：

• 真實觸覺在所有任務都勝過只有視覺
• FELT 觸覺在所有任務的最終成功率都勝過只有視覺，在疊杯子和三角柱插入上追平真實觸覺，試管插入和擦拭則略輸。生成器在單張 RTX 4090 上延遲 20 毫秒，足以支援即時閉迴路控制
• FELT 特徵完全不用真實觸覺，表現卻跟真實觸覺相當，三角柱插入甚至更好。作者的推測是：每個任務只有 60 段示範時，真實觸覺圖的變異和雜訊可能讓它不是穩定的學習訊號；而 FELT 在大量成對資料上預訓練，特徵可能提供更平滑、平均過的接觸表示，在小資料情況下更容易用。但作者明確說這只是假設，需要進一步驗證
• 分階段來看，各方法的夾取成功率差不多，觸覺的效益集中在接觸關鍵的階段：轉向、插入、疊合、擦拭。例如疊杯子時，夾爪擋住視線，光看畫面很難判斷杯子有沒有對齊；觸覺回饋能幫策略調整接觸並重試

部署時改用消融版本生成的觸覺圖，三角柱插入的最終成功率：完整 FELT 70%，拿掉面板交換 55%，拿掉雙分支解碼器 55%，拿掉卷積讀出頭 60%。單一解碼器版本在實際操作中常出現較慢、較不穩、反覆重試的插入動作，跟它在觸覺預測品質上的表現一致。

限制

• 依賴成對資料的多樣性與品質：生成器要先用成對的視覺觸覺資料訓練
• 依賴接觸區域在畫面中可見：嚴重遮擋時 FELT 會推不出觸覺。可能的解法是加更多相機視角，或用時序模型保留先前未遮擋幀的資訊
• 只處理壓力式觸覺感測器：延伸到磁性或凝膠式（如 GelSight）觸覺感測器是未來方向

影響與定位

FELT 把「觸覺資料稀缺」這個問題，轉成「從視覺推觸覺」的跨模態生成問題。它的貢獻有三：

1. 一個尊重感測器拓撲的生成架構（左右分支 + 面板交換 + 卷積讀出），從單張 RGB 生成每根手指的觸覺圖與潛在特徵
2. 開源四個接觸密集任務的視覺觸覺資料集，包含真實和 FELT 生成的觸覺通道
3. 真實機器人實驗證明生成的觸覺訊號能提升策略，潛在特徵甚至能在完全沒有真實觸覺的情況下達到相當效果

對實務的意義是：大量既有的純視覺示範資料，可以透過 FELT「升級」成視覺觸覺資料；部署時也可能省掉脆弱的觸覺感測器。

相關論文推薦

• 論文導讀：Mobile ALOHA——低成本全身遙操作，學會雙臂移動操作——同樣靠模仿學習，資料蒐集的另一種解法
• 論文導讀：OpenVLA——70 億參數的開源 VLA，用七分之一參數打敗 RT-2-X——同樣使用 DINOv2 當視覺骨幹
• 論文導讀：AnyGrasp——把稠密 6 自由度抓取生成與時序追蹤合而為一——純視覺的抓取感知

參考資料

• Li, Z., Ling, Y., Gu, Y., Huang, B., Liang, C., Islam, S., Bedri, H., Chirikjian, J., Li, Y., Nikolaidis, S., & Seita, D. (2026). FELT: Generating Tactile Signals from Vision for Visuo-Tactile Manipulation. arXiv:2607.20683
• 專案頁：felt-tactile.github.io