論文導讀：GaussianDream——在 VLA 裡加一個 3D 高斯世界模型，訓練時學「未來」，推論時不用付代價

一句話讀懂這篇論文

VLA 擅長聽懂指令，但做精細動作時常常抓偏一點點，因為它本質上是在 2D 影像上學模仿，3D 空間結構和「動了之後環境會怎麼變」都只是隱含地藏在特徵裡。GaussianDream 的做法是：訓練時強迫模型用一小段特殊 token 重建出 3D 場景、並預測接下來幾步場景會怎麼動，讓這段 token 學會 3D 和動態；推論時把重建和預測的部分整個拿掉，只保留那段 token 給動作生成用。效果是 3D 世界模型的好處，但幾乎不增加推論成本。

論文資訊卡

• 標題：GaussianDream: A Feed-Forward 3D Gaussian World Model for Robotic Manipulation
• 作者：Zijian Zhang、Yuqing Jiang（共同一作）、Qian Cheng、Xiaofan Li、Si Liu、Ding Zhao、Ping Luo、Weitao Zhou、Haibao Yu（通訊作者）
• 機構：拓璟智能（Tuojing Intelligence）、中國科學院大學、中科院自動化所、清華、浙大、北航、CMU、港大
• 發表：arXiv 2026 年 5 月（2605.20752）
• 程式碼：github.com/TuojingAI/GaussianDream（官方表示 checkpoint 與處理過的資料集之後另外釋出）
• 後續：同團隊之後提出 GaussianDream++（2608.25659），把世界表示直接移進 VLA 骨幹

問題背景

VLA 的兩個空間缺陷

RT-2、OpenVLA、π0、π0.5 這些 VLA 把預訓練視覺語言模型的語意先驗帶進動作生成，在指令遵循和語意泛化上進步很多。但在精細的物理互動上仍有限制，部分原因是訓練主要靠行為複製：

1. 空間與幾何描述不足：預訓練的 VLM 主要在 2D 像素格上運作，3D 空間結構和接觸約束只隱含在視覺特徵和動作標籤裡，控制迴路容易受到細微幾何誤差影響，例如抓取點偏移
2. 稠密監督沒被利用：機器人軌跡其實記錄了大量高維證據——物體配置、外觀線索、深度結構——但模仿動作的目標只監督每一步的控制指令，大量像素級的幾何訊號被浪費

結果是 VLA 只從動作標籤間接學到環境動態，而不是透過明確的內部環境模擬和未來狀態監督來學。已有的機器人世界模型研究證明「預測未來環境狀態」能明顯幫助動作學習和策略穩健性，但標準 VLA 缺乏預期環境如何演變的機制。

既有兩條路線的問題

少數研究開始把 3D 高斯表示放進預測框架（ManiGaussian、GWM、GeoPredict），但要跟主流 VLA 架構無縫整合，在結構和運作上都很困難。

要解決的問題是：怎麼讓 VLA 同時具備明確的 3D 空間定位、稠密監督和未來預期，又保持簡潔輕量的推論流程？

核心設計：非對稱的訓練與推論

GaussianDream 是一個外掛式的世界模型：

• 訓練時：一個時空推理編碼器跟可學習的查詢互動，從時序觀測中抽出 3D 感知的特徵，再交給兩個解耦的輔助頭——靜態高斯頭重建目前場景、動態高斯頭預測未來幾何變化。整條流程用稠密的 RGB 渲染、深度估計、偽 3D 場景流端到端監督，把一般的機器人軌跡變成豐富的結構化學習訊號
• 推論時：所有輔助解碼頭全部丟掉，只保留一段精簡、資訊豐富的 GaussianDream 前綴當動作生成的條件。不需要測試時的高斯解碼、幾何渲染、影片生成或額外的規劃器

方法

整體符號

$o_t$ 是目前的多視角觀測，$o_{t-K:t}$ 是短時間歷史，$l$ 是語言指令，$s_t$ 是機器人狀態。GaussianDream 保留基礎策略的動作介面，只在多模態情境中多加一段前綴 token：

$$Z_t^{GD} = \mathcal{F}(o_{t-K:t},\ Q^{GD})$$

$Q^{GD}$ 是可學習的 GaussianDream 查詢，$\mathcal{F}$ 是時序高斯演化（TGE）模組。實作上用三張歷史畫面 $\{t-10, t-5, t\}$ 提供稀疏的運動線索。影像、語言、GaussianDream token 共用 PaliGemma / Gemma-2B 的 2048 維前綴空間；動作專家的隱藏維度是 1024。

訓練時，同一段前綴被兩個輔助頭解碼：

$$G_t = \mathcal{R}(Z_t^{GD}, o_t), \qquad \hat{G}_{t+\tau} = \mathcal{D}(G_t, Z_t^{GD}, \tau)$$

$\mathcal{R}$ 把前綴變成可渲染的目前高斯狀態，$\mathcal{D}$ 預測依時間跨度 $\tau$ 而定的未來高斯變化。策略本身則以原本的多模態輸入加上前綴為條件：

$$a_t = \pi\big(o_t, l, s_t;\ Z_t^{GD}\big)$$

目前高斯重建：給前綴 3D 空間定位

1. 把 1024 個 GaussianDream token 重新排成 32 × 32 的隱空間格子，保留空間局部性
2. 高斯解碼器把格子上採樣成 256 × 256 × 128 的稠密特徵圖：256 × 256 對應稠密的高斯配置，128 維通道編碼共用的幾何與外觀資訊
3. 幾何頭預測深度、旋轉、尺度、不透明度；外觀頭以目前 RGB 影像為條件，估計一階球諧係數（描述高斯的顏色外觀）
4. 把深度 $D_t$ 反投影成高斯中心 $\mu_t^i$，組成目前的高斯場景 $G_t = \{(\mu_t^i, \theta_t^i)\}_{i=1}^{N_t}$，$N_t = 256 \times 256$

重建出的高斯場景被渲染成 RGB 和深度圖來監督。透過「前綴必須能重建出明確的 3D 幾何」這個約束，把稠密的空間結構注入策略表示，同時提供未來預測用的靜態高斯模板。

未來高斯預測：給前綴動態預期

目前重建只描述時間 $t$ 的場景，沒有監督互動後場景怎麼變。

VGGT 特徵：用 VGGT（一個 3D 重建基礎模型）從歷史畫面抽多尺度的 3D 感知特徵。VGGT 透過全域幀注意力學到很強的靜態 3D 先驗，但對時序互動動態的監督較弱。每張畫面的 VGGT 特徵池化成 32 × 32 格子、投影成時序 token。

時序高斯演化（TGE）模組：讓時序 token 跟可學習的 GaussianDream 查詢互動。2048 維的查詢先投影到 512 維的時序空間，跟多張畫面的 VGGT 特徵融合，再投影回前綴空間。TGE 有 12 個注意力區塊、8 個頭，交替做逐幀的空間互動和時間槽的時序注意力，同時捕捉目前的 3D 結構和未來的幾何演化。目前這一步的輸出就是前綴 $Z_t^{GD}$。

動態頭：預測依時間跨度而定的中心位移：

$$v_t(\tau) = H_{vel}\big(B_{pred}(Z_t^{GD}),\ e_\tau\big), \qquad \hat{\mu}^i_{t+\tau} = \mu^i_t + \Delta x^{(i)}$$

$e_\tau$ 是可學習的時間跨度嵌入。因為機器人互動的運動模式不均勻、不確定性隨時間增加，這個嵌入讓模型區分不同預測時距的動態模式。未來狀態沿用目前高斯的非位置屬性（旋轉、尺度、不透明度、顏色），只預測位置變化——把預測集中在互動造成的幾何變化上，同時保留目前的高斯模板。監督的時距從 $t+1$ 到 $t+5$。

兩階段訓練

第一階段：GaussianDream 預訓練（不學動作）

每段示範序列的 RGB 畫面搭配偽深度和從相鄰畫面建構的偽 3D 場景流目標。目標函數結合目前重建和未來預測：

$$\mathcal{L}_{GD} = \underbrace{\lambda^{cur}_{depth}\mathcal{L}^{cur}_{depth} + \lambda^{cur}_{render}\mathcal{L}^{cur}_{render}}_{\mathcal{L}_{cur}} + \underbrace{\sum_{\tau\in\mathcal{H}} w_\tau\big(\lambda_{depth}\mathcal{L}^{(\tau)}_{depth} + \lambda_{render}\mathcal{L}^{(\tau)}_{render} + \lambda_{flow}\mathcal{L}^{(\tau)}_{flow}\big)}_{\mathcal{L}_{fut}}$$

深度和渲染損失監督目前與未來的高斯渲染；流損失在有效遮罩內，讓預測的中心位移對齊偽 3D 場景流。預測時距逐步擴大，讓最佳化穩定。

第二階段：以 GaussianDream 為條件的策略學習

預訓練後，聯合訓練策略和輔助高斯損失。動作損失是流匹配：

$$\mathcal{L}_{act} = \mathbb{E}\big\lVert v_\theta(\tau\epsilon + (1-\tau)a_t,\ c_t,\ \tau) - (\epsilon - a_t)\big\rVert_2^2, \qquad c_t = (o_t, l, s_t; Z_t^{GD})$$

總目標 $\mathcal{L} = \mathcal{L}_{act} + \lambda_{GD}\mathcal{L}_{GD}$。動作損失讓前綴適應可執行的控制，輔助高斯損失則保留前綴的時空結構。

推論

把時序緩衝編碼成前綴 token、注入策略情境。所有渲染、深度、速度、高斯解碼頭全部丟掉。基礎策略用標準的去噪程序取樣動作，不做未來生成、測試時渲染、高斯解碼或另外的規劃。

實驗

實驗設定

• LIBERO：Spatial、Object、Goal、Long 四組，各 50 段示範、50 次評估
• RoboCasa Human-50：24 個長序列廚房任務的少樣本設定，每個任務在五個場景共 50 次
• 真實機器人：跟基礎 π0.5 比較，任務涵蓋屬性定位、空間關係、堆疊/拆堆、長序列執行，測試前綴在相機雜訊、形態不匹配、實體執行誤差下是否仍有效

LIBERO

GaussianDream 平均 98.4%，Spatial 和 Goal 最高，勝過多個 3D 增強策略。LingBot-VA 平均最高，但它在控制時用的是更大的自迴歸影片—動作管線；GaussianDream 只把預測當訓練時的監督，推論維持以前綴為基礎。

RoboCasa Human-50

GaussianDream 平均最好，優勢最明顯的是需要精準定位的抓取放置（比 π0.5 的 36.0 高到 43.8）。GeoPredict 在門/抽屜和其他類別領先。

真實機器人

所有場景群組都進步，最大的提升出現在空間關係和長序列情境，前綴為動作生成提供了額外的幾何情境。

定性分析

深度渲染視覺化顯示：重建結果保留了目前畫面中準確的物體配置；預測的未來狀態在連續步驟間保持時間一致；也能建模物體互動和協調運動。

消融實驗（LIBERO 平均）

• 只有目前重建就有 97.0%：把觀測重建成高斯狀態本身就提供很強的空間先驗
• 加上未來預測 → 97.5%：短時間的狀態變化監督，貢獻超過單純的目前畫面定位。支持「靜態頭建空間模板、動態頭學互動造成的變化」這個設計
• 渲染讓只有重建的版本從 97.0% → 97.3%：影像層級的一致性幫助預測的高斯對齊觀測
• 保留預測和渲染、拿掉深度 → 97.2%：只靠 RGB 一致性無法完全約束度量幾何
• 全部都有 → 98.4%：重建、預測、渲染、深度各有互補的作用

實作筆記：在 Colab 上跑的規劃

官方釋出了程式碼但還沒有釋出權重，所以沒辦法直接拿 GaussianDream 模型做推論。在 Colab A100 上規劃分兩段（以下是依原始碼閱讀寫成的 notebook 規劃，尚未完整實際跑過）：

讀原始碼時發現官方 repo 直接在 Colab 跑會卡住的幾個點：

• GaussianDream 的 PyTorch Gemma 需要 OpenPI 修改過的 transformers 檔案（否則沒有 use_adarms），官方 README 沒寫這一步
• 程式碼裡 VGGT 預設是隨機初始化，要設 VGGT_CHECKPOINT_PATH 才會載入預訓練權重
• 官方生成深度的腳本把深度存成 bytes，固定版本的 LeRobot 讀多幀資料時會對每一格 torch.stack，bytes 無法 stack，需要改存 float32 陣列
• 官方 LIBERO client 一次送 3 張歷史畫面，但公開的 π0.5 權重只吃一張
• A100 40 GB 放不下 π0.5 全參數 + AdamW，需要凍結 PaliGemma、只訓練動作專家和世界模型
• 光流監督需要一份 LIBERO 相機參數 JSON，repo 沒附產生方式

這些點說明了一件事：論文中「推論時不用付代價」是指推論；訓練一個 GaussianDream 仍然需要 VGGT、深度模型、高斯渲染器和大量顯存。

影響與定位

GaussianDream 的核心訊息是：3D 世界模型不一定要在推論時跑。把它當成訓練時的輔助監督，讓一段前綴 token 被迫學會 3D 結構和短時動態，就能把世界模型的好處帶進策略，同時不增加控制迴路的負擔。

這跟其他使用世界模型的方式形成對比：

相關論文推薦

• 論文導讀：τ0-VLA——讓機器人在決定下一步之前，先用世界模型「想像」幾種做法——世界模型用在推論時的高層決策
• 論文導讀：OpenVLA——70 億參數的開源 VLA，用七分之一參數打敗 RT-2-X
• 論文導讀：Mechanistic Steering——不訓練、不用獎勵，直接調 VLA 內部神經元改變機器人行為——同樣以 π0 系列為基礎
• 論文導讀：GraspNet-1Billion——雜亂場景、6 自由度、10 億筆抓取標註的通用抓取基準——明確使用 3D 幾何的抓取路線

參考資料

• Zhang, Z., Jiang, Y., Cheng, Q., Li, X., Liu, S., Zhao, D., Luo, P., Zhou, W., & Yu, H. (2026). GaussianDream: A Feed-Forward 3D Gaussian World Model for Robotic Manipulation. arXiv:2605.20752
• 程式碼：github.com/TuojingAI/GaussianDream
• Kerbl, B. et al. (2023). 3D Gaussian Splatting for Real-Time Radiance Field Rendering. ACM Transactions on Graphics.