以 LoRA 為代表的參數(shù)高效微調(diào)（Parameter-Efficient Fine-Tuning，PEFT）已成為大模型適配與后訓(xùn)練的主流選擇。相比全量微調(diào)，PEFT 僅更新少量參數(shù)，訓(xùn)練開(kāi)銷更低，也更容易在不同任務(wù)間快速部署。

然而，在 PEFT 方法的評(píng)測(cè)中，目標(biāo)任務(wù)性能仍然是最常被強(qiáng)調(diào)的指標(biāo)；相比之下，微調(diào)過(guò)程中模型遺忘了什么，往往缺少系統(tǒng)評(píng)估。

一個(gè)方法在提升數(shù)學(xué)正確率的同時(shí)，是否會(huì)顯著削弱模型的指令遵循、事實(shí)回憶或通用推理能力？不同 PEFT 方法在下游適配與通用能力保留之間，究竟表現(xiàn)如何？這正是PEFT-Arena試圖深入的問(wèn)題。

近期，來(lái)自香港中文大學(xué)、西湖大學(xué)、德國(guó)馬普所等機(jī)構(gòu)的研究者提出了 PEFT-Arena —— 一個(gè)從穩(wěn)定性?可塑性權(quán)衡（stability–plasticity trade-off）視角重新審視 PEFT 方法的評(píng)測(cè)基準(zhǔn)與分析框架。該工作已在 ICLR 2026 相關(guān) workshop 上進(jìn)行了展示，并開(kāi)源了完整代碼。

其中第一作者黃洋逸是香港中文大學(xué)計(jì)算機(jī)系博士生，共同一作彭若天是西湖大學(xué)博士生，通信作者是香港中文大學(xué)計(jì)算機(jī)系助理教授劉威楊。

• 論文標(biāo)題：PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective
• 項(xiàng)目主頁(yè)：https://spherelab.ai/PEFT-Arena
• 論文鏈接：https://arxiv.org/abs/2605.28819
• 代碼鏈接：https://github.com/Sphere-AI-Lab/PEFT-Arena

只看下游準(zhǔn)確率，為什么不夠？

傳統(tǒng) PEFT 評(píng)測(cè)的核心問(wèn)題通常是：微調(diào)后，下游任務(wù)準(zhǔn)確率提高了多少？這當(dāng)然重要 —— 數(shù)學(xué)微調(diào)理應(yīng)提升數(shù)學(xué)能力，醫(yī)學(xué)問(wèn)答微調(diào)也理應(yīng)提升醫(yī)學(xué)表現(xiàn)。但大模型的應(yīng)用需求遠(yuǎn)不止于單一任務(wù)本身的表現(xiàn)。預(yù)訓(xùn)練為其賦予了廣泛能力，包括指令遵循、事實(shí)知識(shí)、閱讀理解和通用推理。如果微調(diào)過(guò)程以犧牲這些能力為代價(jià)來(lái)?yè)Q取目標(biāo)分?jǐn)?shù)，那么單一準(zhǔn)確率指標(biāo)就會(huì)掩蓋這一點(diǎn)。

PEFT-Arena 將這一問(wèn)題重新表述為經(jīng)典的穩(wěn)定性?可塑性困境（stability–plasticity dilemma）：

• 可塑性（plasticity）：模型在目標(biāo)領(lǐng)域?qū)W到了多少；
• 穩(wěn)定性（stability）：模型保留了多少預(yù)訓(xùn)練通用能力。

由此，一個(gè)可靠的 PEFT 方法不應(yīng)只看是否提升了目標(biāo)任務(wù)分?jǐn)?shù)，更應(yīng)考察它是否以較低的通用能力損失實(shí)現(xiàn)了該提升。

為此，PEFT-Arena 設(shè)置了雙軸評(píng)測(cè)：一軸衡量目標(biāo)域適配，另一軸評(píng)估預(yù)訓(xùn)練通用能力的保留。項(xiàng)目選用 Qwen2.5-7B 和 Llama3.2-3B-Instruct，在數(shù)學(xué)與醫(yī)學(xué)推理兩個(gè)目標(biāo)域上分別進(jìn)行監(jiān)督微調(diào)（SFT）與基于驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)（RLVR）訓(xùn)練，并以 IFEval、Natural Questions（NQ）、BBH 等任務(wù)評(píng)估通用能力的保留情況。

把「學(xué)到了多少」與「忘掉了多少」放在同一張圖里

在 PEFT-Arena 提供的二維評(píng)估圖中，橫軸代表通用能力（即穩(wěn)定性），縱軸代表目標(biāo)域性能（即可塑性）。理想方法自然位于右上角：既能提升目標(biāo)任務(wù)表現(xiàn)，又能完好保留通用能力。

這張圖直觀地展示了，幾乎所有方法都面臨穩(wěn)定性?可塑性權(quán)衡，但不同方法各自落在的權(quán)衡點(diǎn)差異很大。全量微調(diào)通常能取得較強(qiáng)的目標(biāo)域表現(xiàn)，代價(jià)則是通用能力的顯著下降。LoRA 等低秩方法相對(duì)保守，但仍可能出現(xiàn)不可忽視的遺忘。PiSSA 在某些設(shè)置下表現(xiàn)得更為極端：目標(biāo)域分?jǐn)?shù)可能提升，但通用能力損失非常嚴(yán)重。VeRA 對(duì)通用能力的保持較為穩(wěn)定，但目標(biāo)域的提升較為局限。

相比之下，正交微調(diào)（Orthogonal Finetuning，OFT）往往落在更具競(jìng)爭(zhēng)力的「目標(biāo)?保留前沿」上：它不一定總是拿到最高的目標(biāo)分?jǐn)?shù)，但在相近的目標(biāo)收益下，能夠保留更多的通用能力。

例如在 Qwen2.5-7B SFT 數(shù)學(xué)實(shí)驗(yàn)中，全量微調(diào)雖然大幅提升目標(biāo)分?jǐn)?shù)，通用分?jǐn)?shù)卻嚴(yán)重下滑；而 OFT 則在目標(biāo)提升與通用保留之間取得了更均衡的結(jié)果。

另一個(gè)值得注意的現(xiàn)象來(lái)自 RLVR。相比 SFT，RLVR 在主要評(píng)估設(shè)置下通常表現(xiàn)出更弱的通用能力遺忘；在某些設(shè)置中，它甚至能在提升目標(biāo)任務(wù)的同時(shí)保持或提高通用分?jǐn)?shù)。

不過(guò)，作者也觀察到，較長(zhǎng)時(shí)間的 RLVR 訓(xùn)練在 high-k 采樣評(píng)估下可能暴露出另一類退化：pass@1 仍然穩(wěn)定，但 pass@64 等高采樣指標(biāo)會(huì)下降。這說(shuō)明，RLVR 的訓(xùn)練動(dòng)態(tài)也需要從路徑層面進(jìn)一步診斷，而不能只看最終 checkpoint 的單點(diǎn)結(jié)果。

換言之，PEFT-Arena 并不只是給 PEFT 方法排一個(gè)名次，而是試圖將評(píng)測(cè)的核心問(wèn)題從「誰(shuí)的下游準(zhǔn)確率更高」轉(zhuǎn)變?yōu)椋?/p>

哪種 PEFT 方法能以最小的預(yù)訓(xùn)練能力損失，獲得足夠的目標(biāo)域適配？

從分?jǐn)?shù)到機(jī)制：為什么有些方法更容易遺忘？

評(píng)測(cè)基準(zhǔn)告訴我們「發(fā)生了什么」，但還無(wú)法解釋「為什么」。PEFT-Arena 進(jìn)一步從模型幾何的角度進(jìn)行了內(nèi)部分析，主要包括兩個(gè)視角：權(quán)重空間幾何與激活空間幾何。

權(quán)重空間：PEFT 更新作用在參數(shù)矩陣的哪些部分？

作者首先在權(quán)重空間中分析 PEFT 更新。具體做法是將預(yù)訓(xùn)練權(quán)重矩陣沿奇異向量基底分解，考察微調(diào)后有效權(quán)重相對(duì)于原始譜結(jié)構(gòu)的偏移。分析涉及兩項(xiàng)核心視圖：

• 結(jié)構(gòu)保留視圖（retention profile）：衡量微調(diào)后權(quán)重在多大程度上保留了預(yù)訓(xùn)練的奇異結(jié)構(gòu)；
• 更新能量視圖（update-energy profile）：衡量微調(diào)更新主要集中在哪些預(yù)訓(xùn)練方向上。

這種分析有助于回答：不同 PEFT 的參數(shù)化方式，究竟是在平滑地調(diào)整預(yù)訓(xùn)練幾何結(jié)構(gòu)，還是在少數(shù)方向上制造出尖銳集中的擾動(dòng)？例如，LoRA 等低秩方法傾向于產(chǎn)生集中的更新模式；PiSSA 與主奇異方向交互較強(qiáng)，可能帶來(lái)更大的結(jié)構(gòu)擾動(dòng)；而 OFT 由于采用正交參數(shù)化，更傾向于保持權(quán)重譜的原始幾何特征。

為進(jìn)一步建立權(quán)重更新與具體能力指標(biāo)之間的關(guān)聯(lián)，作者還引入了能力條件化漂移（Capability-Conditioned Drift，CSD）。

其直覺(jué)是：同一權(quán)重更新對(duì)不同數(shù)據(jù)分布的影響不同 —— 如果某類通用數(shù)據(jù)激活了那些被大幅更新的方向，就更可能受到干擾。CSD 正是用于量化權(quán)重更新在通用領(lǐng)域與目標(biāo)領(lǐng)域數(shù)據(jù)上引發(fā)的激活擾動(dòng)。

實(shí)驗(yàn)表明，通用領(lǐng)域數(shù)據(jù)的 CSD 與遺忘存在關(guān)聯(lián)，而目標(biāo)領(lǐng)域 CSD 并不能簡(jiǎn)單預(yù)測(cè)目標(biāo)分?jǐn)?shù)。這也提示我們，通用能力保留往往更容易從「表示是否被破壞」中觀察到；而目標(biāo)域性能提升，尤其在推理任務(wù)中，可能更多取決于是否產(chǎn)生了與任務(wù)目標(biāo)對(duì)齊的推理過(guò)程變化。

激活空間：遺忘的關(guān)鍵在于「幾何結(jié)構(gòu)是否被扭曲」

僅看權(quán)重更新還不夠。一個(gè)大模型的更新可能移動(dòng)了激活，但這種移動(dòng)未必有害 —— 例如，一個(gè)近似整體旋轉(zhuǎn)變換雖然改變了向量坐標(biāo)，卻可能保留了樣本間的相對(duì)關(guān)系。

因此，PEFT-Arena 進(jìn)一步比較了預(yù)訓(xùn)練模型與微調(diào)后模型在通用領(lǐng)域數(shù)據(jù)上的激活表示，核心問(wèn)題是：

微調(diào)后，預(yù)訓(xùn)練模型原本組織起來(lái)的樣本關(guān)系是否依然保持？

作者為此引入了三種表示幾何度量：

• Procrustes 殘差：先用最佳正交變換對(duì)齊微調(diào)前后的表示，再測(cè)量仍然無(wú)法對(duì)齊的那部分結(jié)構(gòu)性變化；
• Gram 矩陣失真：比較微調(diào)前后樣本間成對(duì)相似度矩陣的變化；
• 中心核對(duì)齊（CKA）：作為標(biāo)準(zhǔn)的表示相似性指標(biāo)，衡量微調(diào)前后的表示相似度。

結(jié)果顯示，這些度量與遺忘程度存在較強(qiáng)關(guān)聯(lián)：Procrustes 殘差和 Gram 失真越高，遺忘通常越嚴(yán)重；CKA 越高，通用能力保留越好。OFT 雖會(huì)移動(dòng)表示，卻更傾向于保持表示的幾何結(jié)構(gòu)；PiSSA 則表現(xiàn)出更強(qiáng)的非等距扭曲，并對(duì)應(yīng)更嚴(yán)重的遺忘。

這給出了一個(gè)更清晰的解釋：

遺忘的關(guān)鍵，不在于「激活移動(dòng)了多少」，而在于「通用表征的幾何結(jié)構(gòu)是否被破壞」。

這也為 OFT 在 PEFT-Arena 中表現(xiàn)出的較好權(quán)衡提供了一個(gè)直觀解釋：它并非完全不改變模型，而是更傾向于以保持幾何結(jié)構(gòu)的方式完成適配。

插值路徑：最終模型未必是最優(yōu)操作點(diǎn)

除了對(duì)比初始模型和最終模型，PEFT-Arena 還對(duì)微調(diào)路徑本身進(jìn)行了分析。一個(gè)最終 checkpoint 僅僅是適配路徑上的一個(gè)點(diǎn)；模型可能在獲得大部分目標(biāo)收益后繼續(xù)移動(dòng)，而這些額外移動(dòng)主要損害通用能力。

為此，作者利用插值來(lái)診斷「SFT 過(guò)度適配（overshoot）」的現(xiàn)象：在基礎(chǔ)模型與微調(diào)后模型之間進(jìn)行參數(shù)插值，可以得到目標(biāo)性能和通用性能隨插值系數(shù)變化的曲線。

實(shí)驗(yàn)發(fā)現(xiàn)，在許多 SFT 設(shè)定中，中間的插值點(diǎn)既能保留大部分目標(biāo)收益，又能恢復(fù)相當(dāng)多的通用能力。也就是說(shuō)，最終 checkpoint 并不總是目標(biāo)能力與預(yù)訓(xùn)練能力保留的最優(yōu)權(quán)衡點(diǎn)。

這一分析并非將插值包裝成新的評(píng)測(cè)標(biāo)準(zhǔn)，而是將其作為一種路徑層面診斷工具：它告訴我們，最終 checkpoint 是否已經(jīng)越過(guò)了一個(gè)更合適的目標(biāo)–保留平衡點(diǎn)（target-retention trade-off）。

需要指出的是，對(duì)于不同的 PEFT 參數(shù)化方法而言，插值必須在其自然的參數(shù)化幾何路徑上進(jìn)行。

以 OFT 為例，普通的線性權(quán)重插值會(huì)偏離 OFT 原本的正交參數(shù)化路徑，從而扭曲譜結(jié)構(gòu)；而沿 Cayley 生成元進(jìn)行的插值則能使其保持在正交變換的幾何路徑上。

這一觀察進(jìn)一步表明，不同 PEFT 方法可能需要各自相宜的參數(shù)?空間軌跡來(lái)進(jìn)行合理分析。

基于路徑分析，作者還探索了路徑回退（pathwise rewinding）的思路：通過(guò)對(duì)已有微調(diào)后 checkpoint 施加不同強(qiáng)度的回退，在不重新訓(xùn)練的前提下改善目標(biāo) - 保留權(quán)衡。論文主要以 OFT 的逐層回退為例，并在附錄中展示了類似思路在 LoRA、MiSS 等加性（additive） PEFT 方法上的結(jié)果。

為什么這項(xiàng)工作值得關(guān)注？

PEFT-Arena 的意義在于，它把 PEFT 評(píng)測(cè)從單一目標(biāo)任務(wù)分?jǐn)?shù)，擴(kuò)展到了目標(biāo)適配與能力保留的雙軸空間。這樣一來(lái)，不同方法的 trade-off 不再被隱藏在一個(gè)下游 accuracy 數(shù)字后面，而是可以被直接比較。

更進(jìn)一步，論文沒(méi)有停留在 benchmark 排名上，而是嘗試解釋這些差異從何而來(lái)。權(quán)重譜分析、CSD 和激活空間幾何共同指向一個(gè)結(jié)論：遺忘往往對(duì)應(yīng)著模型內(nèi)部表示結(jié)構(gòu)的破壞。

插值分析則提供了另一個(gè)實(shí)用視角：final checkpoint 不一定是最好的權(quán)衡點(diǎn)。對(duì)于已有微調(diào)模型，沿合適路徑做 post-hoc rewinding，也可能找到更好的目標(biāo) - 保留權(quán)衡。