蔡志鵬博士（https://zhipengcai.github.io/）是美國 Meta 公司的高級研究員，博士畢業(yè)于澳大利亞阿德萊德大學(xué)。他的研究主要集中在 Physical Intelligence，包括三維視覺、多模態(tài)大模型等。他的工作已在領(lǐng)域頂級會議雜志上發(fā)表超過 20 篇。其中 10 篇文章被選為頂級會議口頭或特邀報(bào)告，對魯棒估計(jì)計(jì)算復(fù)雜度的理論證明工作被選為 ECCV18 12 篇最佳論文之一。

Meta 發(fā)布了一項(xiàng)令人震撼的研究工作 VLM3，首次揭示了三維視覺學(xué)習(xí)的 Bitter Lesson：標(biāo)準(zhǔn)的視覺語言模型 + scale 數(shù)據(jù)就是最簡單有效的范式，針對特定任務(wù)的架構(gòu)、損失函數(shù)以及數(shù)據(jù)增強(qiáng)的設(shè)計(jì)，甚至是 regression 的 formulation，均不是三維視覺學(xué)習(xí)的必要條件。

當(dāng)前的視覺語言 AI 模型（Vision Language Models, VLMs）通過統(tǒng)一的模型架構(gòu)能夠靈活處理各類不同的視覺任務(wù)。然而，盡管在語義理解、視覺問答、圖像指令等任務(wù)上表現(xiàn)優(yōu)異，它們在三維視覺方面仍然表現(xiàn)不佳。相比之下，專家視覺模型（expert vision models）在絕對深度估計(jì)（metric depth estimation）等三維理解任務(wù)上，憑借專門設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)及數(shù)據(jù)增強(qiáng)，已經(jīng)達(dá)到了超越人類的精度。

這就帶來了一個核心問題：「視覺語言模型是否在三維視覺學(xué)習(xí)方面無法替代專家模型？」VLM3 首次證明了該問題的答案是否定的！

VLM3 通過極簡的設(shè)計(jì)，在極為多樣的三維視覺任務(wù)中媲美或超越專家視覺模型，并大幅超越最先進(jìn)的視覺語言模型：1）在單目深度估計(jì)上 match UnidepthV2 及 MoGe2；2）在目標(biāo)級三維理解任務(wù)上超越 SpatialRGPT；3）在像素匹配任務(wù)上超越 DKM 和 RoMa；4）在相機(jī)姿態(tài)估計(jì)上 match DA3，超越 VGGT。

• 論文地址：https://arxiv.org/pdf/2605.30561
• 代碼地址：https://github.com/facebookresearch/VLM3

二、亮點(diǎn)

在此之前，即便是最先進(jìn)的 VLM 在標(biāo)準(zhǔn)的三維視覺任務(wù)中均遠(yuǎn)遠(yuǎn)落后于專家視覺模型。

VLM3 通過詳盡的實(shí)驗(yàn)發(fā)現(xiàn)，標(biāo)準(zhǔn)的 VLM 僅需要 1）相機(jī)焦距歸一化；2）像素空間歸一化，就能夠以令人驚嘆的簡潔方式有效學(xué)會各類三維視覺模型，在 1）單目深度估計(jì)中 match UniDepthV2 及 MoGe2；2）在目標(biāo)級別三維理解超越 SpatialRGPT；3）在像素匹配任務(wù)上超越 DKM 和 RoMa；4）在相機(jī)姿態(tài)估計(jì)上 match DA3 并超越 VGGT。

和之前的三維視覺 VLM 不同，VLM3 既不需要改變 VLM 的架構(gòu)，也不需要在圖片上渲染 marker。相比于專家視覺模型需要大量的架構(gòu)、損失函數(shù)及數(shù)據(jù)增強(qiáng)方面的復(fù)雜設(shè)計(jì)，VLM3 僅需要標(biāo)準(zhǔn)的 VLM 架構(gòu)（如 Qwen3-vl-4B）和訓(xùn)練（基于文字的 SFT）就能夠在極為多樣的三維任務(wù)上達(dá)到 SOTA。

這種簡潔的訓(xùn)練推翻了之前三維視覺的學(xué)習(xí)范式，并揭示了三維視覺的 Bitter Lesson：我們其實(shí)完全不需要針對特定三維視覺任務(wù)人為設(shè)計(jì)復(fù)雜的架構(gòu)、損失函數(shù)及數(shù)據(jù)增強(qiáng)。通過簡單的視覺語言建模 + scale 數(shù)據(jù)就能夠達(dá)到同樣的效果，并且于其他非三維視覺任務(wù)在統(tǒng)一的語言模型訓(xùn)練框架下完全兼容。這使得三維視覺不再需要與視覺語言模型的大規(guī)模預(yù)訓(xùn)練分離，同時我們能夠使用同樣的方式來實(shí)現(xiàn)三維視覺的 scaling law。

同時 VLM3 的成功也意味著三維視覺的學(xué)習(xí)遠(yuǎn)比我們想象中的要容易：除開不需要特殊架構(gòu)、損失函數(shù)等，我們甚至可以不依賴回歸（regression）來學(xué)會 fine-grained 3D understanding，這在之前的工作中是難以想象的，因?yàn)樵谶B續(xù)的輸出空間進(jìn)行回歸是絕大多數(shù)三維視覺模型的核心設(shè)計(jì)。

三、主要結(jié)果 / 性能對比

在四大三維視覺任務(wù)上性能顯著優(yōu)于最先進(jìn)的 VLM

在單目深度估計(jì)上將 DepthLM 的準(zhǔn)確率從 84 提升至 90，并且訓(xùn)練及推理更加簡單高效，無需渲染 marker。

在目標(biāo)級別三維理解上用同樣的訓(xùn)練數(shù)據(jù)超越 SpatialRGPT，并且無需額外的 encoder，模型參數(shù)少一半（4B vs 8B）。

在多視角幾何任務(wù)上如像素匹配及相機(jī)姿態(tài)估計(jì)上遠(yuǎn)超 Qwen3-vl-32B。

同時在與先進(jìn)的專家視覺模型（如 MoGe2、DA3、RoMa 等）的對比中，VLM3 也毫不遜色，并且完全不需要復(fù)雜的架構(gòu)、損失函數(shù)及數(shù)據(jù)增強(qiáng)。

四、意義 / 應(yīng)用前景

VLM3 重新定義了三維視覺的最佳學(xué)習(xí)范式：最簡單的 generalist 架構(gòu)如 VLM 及 scaling 就是最通用的三維視覺范式！過去三維視覺領(lǐng)域普遍采用的人為的 task-specific 的設(shè)計(jì)并非必須。

這將極大程度地簡化三維基礎(chǔ)模型的構(gòu)建。通過將三維視覺任務(wù)融入視覺語言模型的預(yù)訓(xùn)練，我們也能有效地兼容三維視覺與其它視覺任務(wù)，并將 VLM 的優(yōu)勢，及靈活性與泛化性從語義及二維視覺任務(wù)有效拓展至三維視覺，極大程度提升模型的能力上限。

結(jié)語

VLM3 的出現(xiàn)，首次打通了視覺語言模型與三維視覺之間的壁壘，使得統(tǒng)一的架構(gòu)就能夠簡潔地學(xué)會各類視覺任務(wù)，并達(dá)到專家模型的性能。這既是科研層面的里程碑，也為未來在實(shí)際系統(tǒng)中統(tǒng)一多模態(tài)推理能力提供了可能。我們期待 VLM3 后續(xù)在機(jī)器人、自動駕駛、增強(qiáng)現(xiàn)實(shí)等場景中的落地應(yīng)用。