導(dǎo)讀：視覺 latent reasoning 希望讓多模態(tài)模型在內(nèi)部生成連續(xù) latent token，用這些中間表示補(bǔ)充多模態(tài)理解和推理任務(wù)中缺失的視覺證據(jù)。但問題在于，模型生成出來的 latent token 可能并不落在它原本熟悉的視覺輸入空間里；如果模型無法穩(wěn)定讀取這些 token，它們就很難成為有效的中間視覺證據(jù)。

來自阿里 Qwen 大模型應(yīng)用團(tuán)隊(duì)、滑鐵盧大學(xué)、浙江大學(xué)和 Vector Institute 的研究者提出GAP（Granular Alignment Paradigm）。它的核心思路是既然問題出在「生成的 latent token 能不能被模型讀懂」，就需要從三個(gè)粒度同時(shí)做對齊：

特征對齊：讓 latent 回到模型熟悉的視覺表示空間，而不是直接復(fù)用輸出側(cè) hidden state；

語義對齊：用文本描述檢查 latent 表達(dá)了什么視覺證據(jù)，讓連續(xù)向量不再完全黑箱；

分配對齊：只在基座模型真正困難的樣本上啟用 latent，避免簡單題引入額外噪聲。

在 Qwen2.5-VL 7B 上，GAP 圍繞這三層對齊展開驗(yàn)證。在本文評測設(shè)置下，它同時(shí)改善了平均視覺感知與平均多模態(tài)推理表現(xiàn)。

• 論文標(biāo)題：Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models
• 論文鏈接：https://arxiv.org/pdf/2605.12374
• 方法名稱：GAP（Granular Alignment Paradigm）
• 作者：Yanting Miao、Yutao Sun、Dexin Wang、Mengyu Zhou、Pascal Poupart、Lei Lv、Li Xu、Qi Zhao、Li Wang、Hao Li、Xiaoxi Jiang、Guanjun Jiang
• 機(jī)構(gòu)：Qwen Large Model Application Team, Alibaba；University of Waterloo；Zhejiang University；Vector Institute

GAP 將視覺 latent reasoning 拆成數(shù)據(jù)層、特征層和模型能力層三類對齊問題。

為什么多模態(tài)模型需要「中間視覺證據(jù)」？

多模態(tài)大模型已經(jīng)能夠在大量圖文任務(wù)上給出流暢答案，但在更細(xì)粒度的視覺推理任務(wù)中，錯(cuò)誤往往不是單純來自語言推理能力不足，而是來自視覺證據(jù)定位不充分。

視覺 latent reasoning 試圖讓模型在內(nèi)部生成連續(xù)的視覺 latent token。這些 token 可以被理解為一種中間視覺表示，它們在自回歸生成過程中被重新輸入模型，幫助后續(xù)文本推理。

問題是，這條路看起來輕量，卻并不天然穩(wěn)定。

現(xiàn)有視覺 latent 方法的關(guān)鍵假設(shè)：

輸出可以直接當(dāng)輸入

許多視覺 latent 方法采用一種「輸出即輸入」的范式：模型先生成一個(gè)輸出側(cè) hidden state，然后把這個(gè) hidden state 直接作為下一步 latent token 的輸入 embedding。

這在概念上很自然。既然 hidden state 已經(jīng)承載了模型當(dāng)前步的推理狀態(tài)，為什么不能把它繼續(xù)喂回去，讓模型沿著這個(gè)連續(xù)空間繼續(xù)「想」？

論文指出，這個(gè)看似自然的做法在現(xiàn)代 pre-norm MLLM 中存在一個(gè)特征空間層面的風(fēng)險(xiǎn)：decoder 輸出側(cè) hidden states 并不一定和輸入側(cè)文本與視覺 embedding 位于同一個(gè)分布或尺度區(qū)間。也就是說，一個(gè)向量適合作為輸出讀出，并不意味著它適合作為下一步輸入。

在 Monet-7B 中，decoder hidden states 的范數(shù)隨層數(shù)顯著增長，遠(yuǎn)高于輸入 embedding 的尺度區(qū)間。

論文以 Monet-7B 為代表進(jìn)行分析。Monet-7B 是基于 Qwen2.5-VL 7B 的視覺 latent 模型。作者觀察到，在 pre-norm Transformer 中，層歸一化作用于子層輸入，而殘差流本身并不會在每次殘差相加后被重新歸一化。因此，hidden states 的范數(shù)會沿 decoder 深度累積。

具體測量顯示：

• 輸出側(cè)文本 hidden states 的 L2 范數(shù)約為文本輸入 embedding 的 546.4 倍；
• 輸出側(cè)視覺 hidden states 的 L2 范數(shù)約為視覺輸入 embedding 的 8.7 倍；
• 這種范數(shù)增長在 Monet-7B 的 latent 微調(diào)后依然存在，說明它不是原始基座模型的偶然現(xiàn)象，而與底層 pre-norm decoder 的殘差流機(jī)制相關(guān)。

這意味著，如果直接把輸出側(cè) hidden state 作為下一步視覺 latent 輸入，模型實(shí)際上是在讀取一種它訓(xùn)練時(shí)并未作為輸入 embedding 見過的向量分布。論文將這一問題概括為特征空間錯(cuò)配：latent 存在輸出空間與輸入空間之間的錯(cuò)配。

只校正范數(shù)，也能帶來收益

為了驗(yàn)證這種錯(cuò)配不是純粹的理論擔(dān)憂，論文做了一個(gè)簡單但有說服力的干預(yù)實(shí)驗(yàn)。

作者以 Monet-7B 作為「輸出即輸入」的 latent baseline，在推理時(shí)加入無需訓(xùn)練的 EMA（Exponential Moving Average，移動(dòng)指數(shù)平均）范數(shù)校準(zhǔn)。這個(gè)操作不改變訓(xùn)練數(shù)據(jù)、不更新模型參數(shù)，也不改變主干模型；它只把預(yù)測 latent 的范數(shù)重標(biāo)定到輸入視覺 embedding 的范數(shù)范圍。

結(jié)果顯示，僅這個(gè)推理時(shí)范數(shù)校正，就讓 HRBench4K 從 70.75 提升到 71.63，讓 MathVista 從 61.30 提升到 63.30，平均提升從 66.03 到 67.46。

GAP 的重構(gòu)路徑使生成 latent 回到更接近輸入視覺 embedding 的范數(shù)區(qū)間。

這個(gè)實(shí)驗(yàn)的意義在于，它把問題收束到一個(gè)更具體的位置：視覺 latent 本身并不是無效的，關(guān)鍵在于它是否以輸入兼容的形式反饋給模型。范數(shù)校準(zhǔn)只處理了尺度問題，而 GAP 進(jìn)一步處理的是子空間與監(jiān)督方式的問題。

GAP：三層對齊

GAP 的全稱是 Granular Alignment Paradigm。它不是把視覺 latent reasoning 簡化為「插入更多連續(xù) token」，而是將 latent 訓(xùn)練與反饋拆成三類對齊：數(shù)據(jù)層對齊、特征層對齊和模型能力層對齊。

數(shù)據(jù)層：讓連續(xù) latent 有可檢查的視覺目標(biāo)

連續(xù) latent 的一個(gè)難點(diǎn)是不可見。模型生成一個(gè)向量，我們很難直接知道它到底應(yīng)該表達(dá)什么視覺信息。GAP 的數(shù)據(jù)層對齊并不只是 “收集更多樣本”，而是把每個(gè) latent 監(jiān)督樣本組織成一種可檢查的 response 范式：讓連續(xù) latent 目標(biāo)和可讀的視覺意圖描述同時(shí)出現(xiàn)在同一條教師回復(fù)里。

GAP 的 response 范式。數(shù)據(jù)層對齊的重點(diǎn)，是讓 latent supervision 既有連續(xù)視覺目標(biāo)，也有可讀的 parser 描述，而不是只暴露訓(xùn)練數(shù)據(jù)來源配比。

具體來說，每個(gè)訓(xùn)練樣本包含查詢圖像、問題、中間輔助圖像和結(jié)構(gòu)化教師回復(fù)。訓(xùn)練時(shí)，中間輔助圖像不會作為學(xué)生模型的輸入；它經(jīng)過凍結(jié) ViT 得到的 embedding 只作為 latent head 的監(jiān)督目標(biāo)。文本側(cè)則保留

等結(jié)構(gòu)，其中

用自然語言記錄這段 latent 預(yù)期表達(dá)的輔助視覺內(nèi)容。

也就是說，連續(xù) latent 負(fù)責(zé)提供可學(xué)習(xí)的視覺目標(biāo)，

負(fù)責(zé)提供可讀的語義解釋。推理時(shí)沒有輔助圖像，模型需要自回歸地產(chǎn)生這些 latent 位置，再把它們反饋給后續(xù)推理。

這樣做的好處是，連續(xù) latent 不再是完全不可檢查的黑箱目標(biāo)。訓(xùn)練信號里既有連續(xù)視覺目標(biāo)，也有可讀的 response 描述，便于分析 latent 監(jiān)督到底在教模型生成什么視覺證據(jù)。

特征層：用低秩參數(shù)化約束視覺 latent 空間

既然不能直接把輸出側(cè) hidden state 當(dāng)作視覺輸入，怎樣才能讓模型生成的 visual latent 更像它原本熟悉的視覺輸入？

Naive Solution. 訓(xùn)練一個(gè)完整 latent head，讓它從 decoder state 預(yù)測高維視覺 embedding。但視覺 latent 要表達(dá)高信息密度的中間視覺證據(jù)，而當(dāng)前缺乏大規(guī)模、高質(zhì)量 latent 監(jiān)督數(shù)據(jù)。因此，在這種條件下，完整高維映射會帶來大量冗余自由度和高維噪聲。對于需要逐步反饋的自回歸推理來說，一旦某一步 latent 學(xué)到不穩(wěn)定方向，后續(xù)生成就可能繼續(xù)放大這種誤差。

為了應(yīng)對高維映射帶來的冗余，作者提出了一種新的 latent head 構(gòu)建方式：PCA-aligned latent head。它讓 latent head 先預(yù)測 PCA 系數(shù)，而不是直接預(yù)測完整高維視覺 embedding。這種設(shè)計(jì)帶來兩點(diǎn)好處。

第一，PCA 約束參數(shù)空間。傳統(tǒng)完整 head 近似優(yōu)化一個(gè) D×D 的高維映射；論文發(fā)現(xiàn)了，vision embedding space 是具有低秩化的特點(diǎn): 通過固定 PCA basis，把需要學(xué)習(xí)的部分壓到 D×d，其中 d?D。在保留 95% 信息量1的設(shè)置下，可學(xué)習(xí) latent 系數(shù)維度從 3584 降至 629，約為原空間的 17.6%。PCA 基由訓(xùn)練集中輔助圖像的 vision embedding 離線計(jì)算，并在訓(xùn)練中固定不更新。因此，GAP 的做法不是讓模型自由學(xué)習(xí)一個(gè)完整視覺重構(gòu)器，而是在已有視覺 embedding 的主成分坐標(biāo)系里學(xué)習(xí) latent 系數(shù)。

第二，PCA 重構(gòu)的 latent 更接近模型熟悉的視覺輸入。 真實(shí)視覺 embedding 的主要變化方向已經(jīng)由 PCA 提供，latent head 只需要學(xué)習(xí)如何預(yù)測這些主方向上的系數(shù)。它既節(jié)省了參數(shù)化自由度，也把生成 latent 限制在更緊湊、更接近真實(shí)視覺輸入分布的子空間中，從而降低輸出側(cè) hidden state 與輸入側(cè) vision embedding 之間的特征錯(cuò)配。

從更長遠(yuǎn)的角度看，PCA 有效也可能提示一個(gè)更大的問題：視覺 latent reasoning 也許需要類似 “l(fā)atent 預(yù)訓(xùn)練” 的階段。當(dāng)前沒有專門的大規(guī)模 latent 預(yù)訓(xùn)練時(shí)，直接訓(xùn)練高秩 latent 空間很難。PCA 相當(dāng)于暫時(shí)借用了模型已有視覺特征空間中的統(tǒng)計(jì)結(jié)構(gòu)，把已有視覺編碼器學(xué)到的主成分作為結(jié)構(gòu)先驗(yàn)，用一種更輕量、更數(shù)據(jù)友好的方式完成對齊和壓縮。

模型能力層：只在基座模型真正困難的樣本上施加 latent 監(jiān)督

特征層解決的是 latent 如何生成，模型能力層解決的是 latent 應(yīng)該用在什么樣的樣本上。GAP 的判斷是：visual latent 不應(yīng)該被當(dāng)作默認(rèn)步驟，而應(yīng)該依照模型當(dāng)前能力和題目難度，分配給基座模型確實(shí)困難的樣本。

這種難度感知分配的直覺是：當(dāng)基座模型無法僅根據(jù)問題圖像正確解答時(shí)，它往往需要額外的中間視覺證據(jù)來輔助推理；而 visual latent 正是為這類樣本提供這種證據(jù)。如果基座模型已經(jīng)可以穩(wěn)定答對，強(qiáng)行加入 latent 監(jiān)督可能會引入額外噪聲，甚至有破壞原有能力的風(fēng)險(xiǎn)。

論文對每個(gè)訓(xùn)練問題使用 Qwen2.5-VL 7B 基座模型進(jìn)行 8 次采樣，估計(jì)經(jīng)驗(yàn)正確率。在當(dāng)前實(shí)驗(yàn)中，只有基座模型 8 次都未答對的樣本，才保留 latent 監(jiān)督；其他樣本轉(zhuǎn)為純文本訓(xùn)練。

主結(jié)果：同時(shí)改善平均感知與平均推理

論文最關(guān)鍵的實(shí)驗(yàn)問題是：對齊后的 visual latent，是否能避免多模態(tài)感知能力提升但推理能力下降的問題？

結(jié)果顯示，在本文評測設(shè)置下，GAP 同時(shí)改善了平均視覺感知和平均多模態(tài)推理表現(xiàn)。視覺感知側(cè)，論文使用 HRBench4K、MMStar 和 MME-RealWorld-Lite，并定義 Avg-P 為三者 Overall 指標(biāo)的平均值。

論文 Table 2。GAP 在 Avg-P 上取得本文評測方法中的最佳結(jié)果。

從表中可以看到，Qwen2.5-VL 7B 基座模型的 Avg-P 為 57.66，Dense Caption SFT 為 59.40，Monet-7B 為 59.58，LVR 為 60.75。GAP 達(dá)到 61.32，在本文評測方法中最高。單項(xiàng)指標(biāo)上，GAP 在 HRBench4K Overall 達(dá)到 73.25，在 MMStar 達(dá)到 63.40。

多模態(tài)推理側(cè)，論文使用 MathVista 和 WeMath，其中 WeMath 同時(shí)報(bào)告 strict 與 loose 兩種準(zhǔn)確率，并定義 Avg-R 為 MathVista、WeMath-S 和 WeMath-L 的平均值。

論文 Table 3。GAP 在 Avg-R 上取得本文評測方法中的最佳結(jié)果。

在 Avg-R 上，Qwen2.5-VL 7B 為 52.62，Dense Caption SFT 為 47.24，Monet-7B 為 47.99，LVR 為 47.66。GAP 達(dá)到 53.97。這個(gè)結(jié)果尤其值得注意：一些既有 latent baselines 在感知任務(wù)上有所提升，但平均推理指標(biāo)下降明顯；GAP 是唯一一種能同時(shí)改善 Avg-P 和 Avg-R 的 latent 推理方法。

組件分析：

低秩結(jié)構(gòu)先驗(yàn)與選擇性監(jiān)督的作用

在數(shù)據(jù)監(jiān)督質(zhì)量與監(jiān)督分配方面，論文比較了 Monet latent 模型、使用 Monet SFT 數(shù)據(jù)的 latent-head 訓(xùn)練配置，以及使用 49K 精選 latent 監(jiān)督設(shè)置的全 latent 版本和難度感知版本。結(jié)果顯示，精選 latent 監(jiān)督在 HRBench4K 和 MathVista 平均上顯著優(yōu)于 Monet 125K SFT 數(shù)據(jù)相關(guān)設(shè)置；難度感知版本又優(yōu)于全 latent 版本。

這說明 GAP 的收益不只來自「有 latent head」，也來自更干凈、更匹配任務(wù)的 latent 監(jiān)督，以及對 latent 監(jiān)督使用位置的選擇。

在維度約減相關(guān)實(shí)驗(yàn)中，論文比較了無 PCA 的完整 latent head，以及保留 85%、90%、95% 信息量的 PCA 版本。保留 95% 信息量對應(yīng) 629 個(gè)主成分，在 HRBench4K、MMStar 和 MathVista 的 Avg-3 上達(dá)到 69.22，相比 Qwen2.5-VL 7B 的 65.69 提升 +3.53，也高于無 PCA 的 LH+DA。

從這個(gè)角度看，這組實(shí)驗(yàn)的意義不僅是驗(yàn)證「降維有沒有用」，而是在驗(yàn)證一個(gè)更基本的假設(shè)：在 latent 數(shù)據(jù)規(guī)模有限、latent 預(yù)訓(xùn)練尚未充分建立的階段，視覺 latent head 需要顯式的低秩結(jié)構(gòu)先驗(yàn)。PCA 提供的主成分坐標(biāo)系讓模型優(yōu)先學(xué)習(xí)視覺 embedding 中方差最大、最穩(wěn)定的變化方向，而不是把優(yōu)化預(yù)算浪費(fèi)在完整高維空間的冗余自由度上。

論文對這一結(jié)果的解釋是：PCA 同時(shí)起到了子空間約束、容量控制和輸入空間參數(shù)化的作用。它并不證明 PCA 是唯一可行的低秩方法，但說明將生成 latent 約束到經(jīng)驗(yàn)視覺 embedding 坐標(biāo)系中，是比不受約束的完整 head 更穩(wěn)健的方向。也可以把它理解為一種過渡方案：在缺乏大規(guī)模 latent 預(yù)訓(xùn)練的情況下，先借助模型已有視覺特征空間做對齊和壓縮。

生成的 latent 是否真的有視覺信息？

一個(gè)自然疑問是：GAP 的收益是否只是來自增加了 latent token 位置？如果模型只是通過test-time scaling 的方式來獲得收益，而這些連續(xù) token 本身沒有有用內(nèi)容，那么視覺 latent reasoning 的有效性則會大打折扣。為此，論文設(shè)計(jì)了推理干預(yù)實(shí)驗(yàn)，實(shí)驗(yàn)設(shè)置如下：

• 原始基座模型：Qwen2.5-VL 7B，不使用 latent，用來給出基礎(chǔ)能力參照；
• 純文本監(jiān)督對照：Dense Caption SFT，使用同一批精選數(shù)據(jù)做純文本 SFT，用來判斷收益是否只是來自更細(xì)的文本描述；
• GAP 無 latent 生成（zero latent）：使用 GAP 模型，但禁用 latent 生成，用來觀察 GAP 的訓(xùn)練本身是否能帶來視覺理解增益；
• GAP 噪聲 latent（noise latent）：使用 GAP 模型，但用高斯噪聲替換模型正常預(yù)測的 latent 內(nèi)容；
• GAP 預(yù)測 latent（clean latent）：使用 GAP 模型，并保留模型自生成的 latent 特征。

正常生成的 latent 高于禁用 latent 和噪聲 latent 設(shè)置，說明收益不只是來自額外 token 位置。

在 HRBench4K 與 MathVista 的 Avg-2 上，基座模型為 68.31，Dense Caption SFT 為 68.79。GAP 模型在禁用 latent 生成后仍達(dá)到 70.33，說明具備 latent 訓(xùn)練目標(biāo)的模型本身會學(xué)習(xí)到與視覺更加相關(guān)的推理模式。進(jìn)一步使用正常生成的視覺 latent 后，Avg-2 達(dá)到 72.13；而用高斯噪聲替換 latent 內(nèi)容時(shí)下降到 69.69，甚至比 Dense Caption SFT 更差，則說明了 GAP 的收益來自于生成的 visual latent, 而非單純的增加推理時(shí)的算力。

latent token budget：不是越多越好

論文還分析了 latent token budget。非零 token 預(yù)算被組織為方形 latent 網(wǎng)格，例如 4 個(gè) token 對應(yīng) 2×2，16 個(gè) token 對應(yīng) 4×4，36 個(gè) token 對應(yīng) 6×6。

latent token 容量有收益，但并非單調(diào)增加；36 個(gè) token 在 Avg-3 上最好，16 個(gè) token 也很接近。

結(jié)果顯示，在 HRBench4K、MMStar 和 MathVista 的 Avg-3 上，36 個(gè) token 達(dá)到最高平均值 69.22，16 個(gè) token 也接近，為 69.11。繼續(xù)增加到 64 或 144 個(gè) token 后，平均表現(xiàn)并沒有繼續(xù)提升。

但這個(gè)結(jié)果不能簡單理解為「36 個(gè) token 就是普適最優(yōu)」。更合理的解釋是：latent token 預(yù)算需要和圖像分辨率、任務(wù)類型一起看。MathVista 和 MMStar 的輸入分辨率相對較低，需要建模的中間視覺證據(jù)也更壓縮，較小的 latent 網(wǎng)格往往已經(jīng)足夠；如果繼續(xù)增加 latent token 數(shù)，自回歸生成鏈會變長，后續(xù) latent 更依賴前面已經(jīng)生成的內(nèi)容，暴露偏差和噪聲反饋反而可能被放大。

相比之下，HRBench4K 面向高清圖像，更容易需要局部、細(xì)粒度的中間視覺證據(jù)。對這類任務(wù)來說，更多 latent token 可以提供更細(xì)的空間承載能力，幫助模型在內(nèi)部形成更充分的視覺線索。因此，視覺 latent reasoning 的 token 預(yù)算并不是一個(gè)單調(diào)的容量參數(shù)，而是需要在圖像分辨率、任務(wù)粒度、推理成本和自生成 latent 的可靠性之間取得平衡。

結(jié)論：

要補(bǔ)上的不是一步推理

而是輸入與輸出之間的 GAP

這篇論文的核心貢獻(xiàn)，在于指出了一個(gè)當(dāng)前 latent 推理的失敗模式：在 pre-norm MLLM 中，輸出側(cè) hidden states 與輸入側(cè) vision embedding 可能處于不同的范數(shù)區(qū)間和經(jīng)驗(yàn)子空間，直接采用「輸出即輸入」會讓 latent 分布錯(cuò)配。

GAP 的回答是三層對齊：

• 數(shù)據(jù)層：用輔助圖像監(jiān)督和 parser 文本讓 latent 目標(biāo)更可檢查；
• 特征層：用 PCA 對齊的 latent head 將生成 latent 對齊并重構(gòu)回 vision embedding 空間，使自生成的視覺證據(jù)更輸入兼容；
• 模型能力層：用難度感知分配將 latent 監(jiān)督放在基座模型更需要的樣本上。

從結(jié)果看，GAP 在本文評測設(shè)置下同時(shí)提升了平均視覺感知與平均多模態(tài)推理表現(xiàn)；從干預(yù)實(shí)驗(yàn)看，正常生成的視覺 latent 攜帶了任務(wù)相關(guān)信號；從 token 預(yù)算掃描看，latent 容量需要控制，而不是簡單做大。

因此，GAP 在視覺 latent reasoning 要補(bǔ)上的并不只是推理鏈中的一步，而是輸出空間與輸入空間之間的那個(gè) gap。

注：這里的「信息量」指 PCA 中的累計(jì)解釋方差（Cumulative Explained Variance），即主成分所保留的數(shù)據(jù)方差信息比例。