智東西
編譯 楊京麗
編輯 李水青

智東西6月16日消息，今天，螞蟻百靈團(tuán)隊(duì)發(fā)布Ling-2.6-flash、Ling-2.6-1T 和 Ring-2.6-1T三款模型的Ling & Ring 2.6技術(shù)報(bào)告，系統(tǒng)公開(kāi)百靈2.6系列模型在架構(gòu)、預(yù)訓(xùn)練、后訓(xùn)練與推理基礎(chǔ)設(shè)施等方面的技術(shù)細(xì)節(jié)。

此前，百靈已陸續(xù)開(kāi)源Ling-2.6-flash、Ling-2.6-1T和Ring-2.6-1T。三個(gè)模型面向不同場(chǎng)景：Ling-2.6-flash主打低延遲、高吞吐和高頻調(diào)用，適合信息抽取、格式轉(zhuǎn)換、批處理、長(zhǎng)輸出，以及Agent工作流中的輕量執(zhí)行節(jié)點(diǎn)；Ling-2.6-1T面向更高能力密度和更強(qiáng)通用能力，重點(diǎn)提升即時(shí)響應(yīng)場(chǎng)景下單位輸出token的信息量；Ring-2.6-1T則面向復(fù)雜推理和Agent任務(wù)，強(qiáng)調(diào)長(zhǎng)鏈路規(guī)劃、工具調(diào)用、代碼執(zhí)行、搜索和環(huán)境交互能力。

▲百靈大模型地址（圖源：Hugging Face）

隨著大模型逐步進(jìn)入Agent、Coding、科研分析和企業(yè)工作流等復(fù)雜任務(wù)場(chǎng)景，模型需要具備可靠推理和穩(wěn)定使用工具的能力，還需要在成本和延遲可控的前提下持續(xù)執(zhí)行任務(wù)。

圍繞這一目標(biāo)，報(bào)告重點(diǎn)展示了百靈2.6系列的技術(shù)路徑：架構(gòu)方面，百靈2.6系列模型采用混合線(xiàn)性注意力（Hybrid Linear Attention），將閃電注意力（Lightning Attention）與多頭潛在注意力（MLA）按7:1比例結(jié)合，降低長(zhǎng)上下文訓(xùn)練、解碼和鍵值緩存（KV Cache）成本。

預(yù)訓(xùn)練上，團(tuán)隊(duì)在Ling-2.0基礎(chǔ)上進(jìn)行架構(gòu)遷移和繼續(xù)預(yù)訓(xùn)練，將上下文窗口擴(kuò)展至256K；后訓(xùn)練上，Ling-2.6圍繞token效率壓縮冗余推理，Ring-2.6則面向長(zhǎng)程Agent任務(wù)強(qiáng)化工具調(diào)用、搜索和代碼執(zhí)行能力；基礎(chǔ)設(shè)施上，團(tuán)隊(duì)通過(guò)長(zhǎng)上下文訓(xùn)練優(yōu)化、異步Agentic RL和推理側(cè)算子融合，支撐萬(wàn)億參數(shù)模型在真實(shí)工作流中的訓(xùn)練與部署。

評(píng)測(cè)結(jié)果顯示，Ling-2.6-1T在Artificial Analysis Intelligence Index中以約16M輸出tokens取得約34分，接近GPT-5.4 Non-reasoning，并高于DeepSeek V3.2和上一代Ling-1T，體現(xiàn)出較高token效率。

▲Ling-2.6-1T與Ring-2.6-1T評(píng)測(cè)結(jié)果

Ring-2.6-1T則在部分復(fù)雜推理和Agent任務(wù)中表現(xiàn)突出：其xhigh配置在ARC-AGI-V2上取得66.18，高于Kimi-K2.6 Thinking和DeepSeek-V4-Pro Max；high配置在PinchBench上取得87.60，高于GPT-5.4和Gemini-3.1-Pro，在ClawEval上取得63.82，高于Kimi-K2.6 Thinking、DeepSeek-V4-Pro Max、GPT-5.4和Gemini-3.1-Pro。

技術(shù)報(bào)告地址：https://arxiv.org/abs/2606.15079

Ling-2.6-flash開(kāi)源地址：https://huggingface.co/inclusionAI/Ling-2.6-flash

Ling-2.6-1T開(kāi)源地址：https://huggingface.co/inclusionAI/Ling-2.6-1T

Ring-2.6-1T開(kāi)源地址：https://huggingface.co/inclusionAI/Ring-2.6-1T

一、三大重點(diǎn)：長(zhǎng)上下文效率、token密度、原生Agent訓(xùn)練

為保證模型在萬(wàn)億參數(shù)規(guī)模和真實(shí)Agent工作流下，仍能夠保持長(zhǎng)上下文處理效率、輸出質(zhì)量與工具調(diào)用穩(wěn)定性，百靈2.6主要圍繞以下三方面進(jìn)行了系統(tǒng)優(yōu)化。

百靈2.6首先解決的是長(zhǎng)上下文效率問(wèn)題。報(bào)告提到，此前模型基于GQA（分組查詢(xún)注意力）架構(gòu)，當(dāng)上下文長(zhǎng)度超過(guò)32K tokens后，注意力計(jì)算會(huì)成為主要瓶頸。為此，Ling/Ring2.6采用混合線(xiàn)性注意力（Hybrid Linear Attention）架構(gòu)，將閃電注意力（Lightning Attention）與多頭潛在注意力（MLA）按7:1比例結(jié)合，即每8層中約7層采用Lightning Attention、1層采用MLA。

▲Ling-2.6-1T-base整體架構(gòu)

Lightning Attention將序列維度上的計(jì)算復(fù)雜度從O(n2)降到O(n)，MLA則通過(guò)低秩隱空間壓縮KV Cache。二者結(jié)合后，模型更適合長(zhǎng)上下文訓(xùn)練、長(zhǎng)輸出和長(zhǎng)鏈路Agent任務(wù)。

第二個(gè)重點(diǎn)則是提升token能力密度。Ling-2.6在后訓(xùn)練階段結(jié)合演化式思維鏈（Evolutionary Chain of Thought，Evo-CoT）、語(yǔ)言單元策略?xún)?yōu)化（Linguistic Unit Policy Optimization，LPO）、雙向偏好對(duì)齊和最短正確回答蒸餾等方法，提升模型對(duì)有效推理步驟的選擇能力，減少重復(fù)、循環(huán)和低信息密度輸出。

在Artificial Analysis Intelligence Index榜單上，Ling-2.6-1T使用約16M輸出tokens取得34分。報(bào)告稱(chēng)，這相比Ling-2.0-1T在reasoning workloads上實(shí)現(xiàn)約4倍token效率提升。

第三個(gè)重點(diǎn)是Agent能力的原生優(yōu)化。百靈2.6系列的Agent能力不是從普通對(duì)話(huà)數(shù)據(jù)中間接遷移而來(lái)，而是作為直接訓(xùn)練目標(biāo)優(yōu)化。團(tuán)隊(duì)構(gòu)建了覆蓋工具調(diào)用、代碼、搜索、工作流執(zhí)行和多輪交互的大規(guī)模Agentic Corpus（智能體語(yǔ)料庫(kù)），并將其與可驗(yàn)證任務(wù)、結(jié)構(gòu)化工具軌跡和環(huán)境反饋結(jié)合。

在Ring-2.6上，團(tuán)隊(duì)進(jìn)一步提出KPop，用對(duì)稱(chēng)二元KL散度替代IcePop中的固定比例約束，以更穩(wěn)定地進(jìn)行MoE模型的Agentic RL訓(xùn)練。同時(shí)，團(tuán)隊(duì)還采用異步RL，將rollout采集與參數(shù)更新解耦，使編碼、搜索、工具調(diào)用和工作流執(zhí)行等長(zhǎng)鏈路任務(wù)，能夠在萬(wàn)億參數(shù)規(guī)模下進(jìn)行更高效訓(xùn)練。

二、預(yù)訓(xùn)練：在Ling-2.0基礎(chǔ)上，擴(kuò)展至256K上下文

百靈2.6沒(méi)有從零訓(xùn)練萬(wàn)億參數(shù)模型，而是在Ling-2.0基礎(chǔ)上進(jìn)行架構(gòu)遷移、繼續(xù)完成預(yù)訓(xùn)練和后訓(xùn)練。報(bào)告稱(chēng)，Ling-2.0-1T此前已有約20T tokens訓(xùn)練投入，直接重新訓(xùn)練成本較高，因此團(tuán)隊(duì)選擇在已有checkpoint上完成架構(gòu)升級(jí)。

架構(gòu)遷移分為四個(gè)階段：第一階段是閃電注意力轉(zhuǎn)換（Lightning Attention Conversion），將部分原有GQA層替換為L(zhǎng)ightning Attention，以降低長(zhǎng)上下文計(jì)算成本；第二階段是線(xiàn)性預(yù)熱（Linear Warmup），主要用于對(duì)新增參數(shù)進(jìn)行訓(xùn)練和對(duì)齊，使模型逐步適應(yīng)新結(jié)構(gòu)；第三階段是MLA轉(zhuǎn)換（MLA Conversion），包括去除QK歸一化（QK Norm removal）和適配部分旋轉(zhuǎn)位置編碼（Partial RoPE adaptation），為后續(xù)KV Cache壓縮和高效推理做準(zhǔn)備；最后是MLA預(yù)熱（MLA Warmup），通過(guò)小規(guī)模繼續(xù)訓(xùn)練將loss恢復(fù)到遷移前水平。整個(gè)遷移階段約使用400B tokens。

完成架構(gòu)遷移后，模型繼續(xù)進(jìn)行大規(guī)模全參數(shù)訓(xùn)練。報(bào)告中提到，Ling-2.6預(yù)訓(xùn)練總計(jì)處理約9.6T tokens，分為遷移預(yù)訓(xùn)練（Migration Pre-Training）、繼續(xù)預(yù)訓(xùn)練（Continue Pre-Training）和中期訓(xùn)練（Mid-Training）幾個(gè)階段。其中遷移預(yù)訓(xùn)練約 400B tokens，用于完成架構(gòu)遷移；繼續(xù)預(yù)訓(xùn)練約8T tokens，使用4K上下文窗口；中期訓(xùn)練約1.2T tokens，將上下文窗口逐步擴(kuò)展到32K，再擴(kuò)展到256K。

▲Ling-2.6多階段預(yù)訓(xùn)練流程

數(shù)據(jù)構(gòu)成上，團(tuán)隊(duì)增強(qiáng)了數(shù)學(xué)、代碼、Agentic Data、長(zhǎng)上下文語(yǔ)料和多語(yǔ)言語(yǔ)料。Agentic Corpus覆蓋500多個(gè)真實(shí)MCP環(huán)境、3000多個(gè)工具，以及多種coding、bash、web QA和軟件倉(cāng)庫(kù)任務(wù)；Long-Context Corpus覆蓋數(shù)學(xué)、復(fù)雜網(wǎng)頁(yè)解析、長(zhǎng)文檔摘要、RAG融合和多跳推理等任務(wù)。

在base model評(píng)測(cè)中，團(tuán)隊(duì)使用覆蓋數(shù)學(xué)、代碼、通用推理、語(yǔ)言理解、世界知識(shí)和長(zhǎng)上下文理解的31個(gè)benchmark，對(duì)Ling-2.6-flash-base、Ling-2.6-1T-base與2.0代模型進(jìn)行對(duì)比。

整體來(lái)看，Ling-2.6-1T-base在世界知識(shí)、長(zhǎng)上下文建模和推理能力上取得較穩(wěn)定提升，同時(shí)保持了數(shù)學(xué)和代碼能力。尤其是在SimpleQA、C-SimpleQA、MMMLU、LongBenchv2等知識(shí)和長(zhǎng)上下文任務(wù)上，提升較為明顯。

▲Ling-2.6-base與Ling-2.0-base在多類(lèi)基準(zhǔn)測(cè)試中的對(duì)比

三、Ling-2.6后訓(xùn)練：用更少token完成高質(zhì)量即時(shí)響應(yīng)

Ling-2.6的后訓(xùn)練，圍繞即時(shí)響應(yīng)和高頻調(diào)用兩方面展開(kāi)。團(tuán)隊(duì)重點(diǎn)關(guān)注模型能否在更少輸出token內(nèi)，給出更高質(zhì)量的回答。

為此，Ling-2.6沒(méi)有沿用Ling-2.0中相對(duì)統(tǒng)一的后訓(xùn)練流程，而是采用專(zhuān)家驅(qū)動(dòng)的訓(xùn)練路線(xiàn)。模型先進(jìn)行cold-start SFT打底，再進(jìn)行推理和Agent任務(wù)方向的專(zhuān)家化訓(xùn)練；隨后，通過(guò)強(qiáng)化學(xué)習(xí)進(jìn)一步優(yōu)化專(zhuān)家模型，最后將這些專(zhuān)家能力蒸餾回統(tǒng)一的Ling-2.6模型中。

▲Ling-2.6后訓(xùn)練流程

在推理數(shù)據(jù)處理上，團(tuán)隊(duì)先讓專(zhuān)家模型生成多個(gè)候選答案，再篩選出最短的正確回答。同時(shí)，對(duì)于“答對(duì)后還在反思”的片段，團(tuán)隊(duì)進(jìn)一步用LLM judge進(jìn)行裁剪。報(bào)告稱(chēng)，數(shù)據(jù)層面的處理，讓模型平均輸出長(zhǎng)度減少約200到300個(gè)token。

進(jìn)入強(qiáng)化學(xué)習(xí)階段后，Ling-2.6在Evo-CoT基礎(chǔ)上加入動(dòng)態(tài)長(zhǎng)度懲罰和語(yǔ)義冗余懲罰。動(dòng)態(tài)長(zhǎng)度懲罰允許模型在難題上，保留必要推理空間，壓縮簡(jiǎn)單任務(wù)中的過(guò)長(zhǎng)輸出；語(yǔ)義冗余懲罰則用于抑制循環(huán)、重復(fù)和低價(jià)值反思。

四、Ring-2.6后訓(xùn)練：面向長(zhǎng)程Agent任務(wù)，強(qiáng)化工具使用

Ring-2.6的后訓(xùn)練目標(biāo)則偏向復(fù)雜、長(zhǎng)程、工具密集型Agent任務(wù)。它以L(fǎng)ing-2.6-1T Base為基礎(chǔ)，經(jīng)過(guò)cold-start SFT，再進(jìn)入由KPop算法驅(qū)動(dòng)的推理與Agent專(zhuān)家訓(xùn)練階段，隨后進(jìn)行專(zhuān)家能力蒸餾，并最終形成high和xhigh兩種推理配置。

工具使用數(shù)據(jù)上，Ring-2.6重點(diǎn)覆蓋三類(lèi)場(chǎng)景：倉(cāng)庫(kù)級(jí)代碼任務(wù)、移動(dòng)端/網(wǎng)頁(yè)搜索任務(wù)，以及需要多步規(guī)劃和錯(cuò)誤恢復(fù)的通用工具工作流。以Coding Agent為例，團(tuán)隊(duì)從GitHub中大規(guī)模挖掘PR-Issue pairs，并設(shè)置了較嚴(yán)格的篩選條件：倉(cāng)庫(kù)star數(shù)超過(guò)100、PR已合并且關(guān)聯(lián)closed issue，同時(shí)PR中必須包含test patch以便驗(yàn)證。經(jīng)過(guò)篩選后，團(tuán)隊(duì)得到約300K raw pairs。

▲Ring-2.6后訓(xùn)練流程

在Agentic RL階段，團(tuán)隊(duì)構(gòu)建輕量級(jí)Agent框架，并提供execute_bash、search_replace和task_done三類(lèi)核心工具。訓(xùn)練期間最大對(duì)話(huà)長(zhǎng)度為200 turns，評(píng)估期間最大對(duì)話(huà)長(zhǎng)度為500 turns。針對(duì)SWE類(lèi)長(zhǎng)程任務(wù)，最終訓(xùn)練數(shù)據(jù)集包含約2500個(gè)實(shí)例，來(lái)自1550個(gè)倉(cāng)庫(kù)，覆蓋Python、Java、C、Rust、JavaScript等30多種編程語(yǔ)言。

五、基礎(chǔ)設(shè)施：長(zhǎng)上下文訓(xùn)練、異步RL與推理部署協(xié)同優(yōu)化

基礎(chǔ)設(shè)施方面，百靈2.6的優(yōu)化主要圍繞長(zhǎng)上下文訓(xùn)練、大規(guī)模異步Agentic RL和推理serving展開(kāi)。團(tuán)隊(duì)提出AllGather-based CP，使Lightning Attention能夠更高效地進(jìn)行超長(zhǎng)上下文訓(xùn)練，在256K上下文長(zhǎng)度下帶來(lái)約68%的端到端加速。RL基礎(chǔ)設(shè)施ASystem和ARouter則面向長(zhǎng)序列rollout調(diào)度，報(bào)告稱(chēng)在長(zhǎng)序列場(chǎng)景下帶來(lái)超過(guò)80%的端到端性能提升。

▲Lightning Attention的上下文并行優(yōu)化

推理側(cè)，團(tuán)隊(duì)將訓(xùn)練階段積累的融合算子（fused kernels）適配到真實(shí)部署場(chǎng)景，并盡可能保持訓(xùn)練與推理階段的數(shù)值行為一致。這不僅提升推理效率，也有助于減少?gòu)?qiáng)化學(xué)習(xí)采樣（RL rollout）中的訓(xùn)練-推理差異。推理側(cè)kernels能力已通過(guò)高性能算子庫(kù)linghe開(kāi)源。

▲linghe開(kāi)源地址：https://github.com/inclusionAI/linghe

結(jié)合算子融合（kernel fusion）、前綴緩存（prefix caching）與多token生成（multi-token generation），linghe優(yōu)化提升了整體吞吐、單用戶(hù)每秒生成token數(shù)和交互穩(wěn)定性。

結(jié)語(yǔ)：國(guó)產(chǎn)開(kāi)源模型，公開(kāi)更多技術(shù)細(xì)節(jié)

這份報(bào)告較完整地公開(kāi)了百靈團(tuán)隊(duì)在萬(wàn)億參數(shù)模型上的技術(shù)細(xì)節(jié)。從結(jié)果看，Ling/Ring2.6在部分復(fù)雜推理、工具調(diào)用和Agent任務(wù)上已有較強(qiáng)表現(xiàn)，但與國(guó)際頂尖模型相比仍有追趕空間。

報(bào)告也提到，Ling-2.6-flash在高復(fù)雜任務(wù)中的推理深度和工具調(diào)用可靠性仍受思考預(yù)算限制；長(zhǎng)程Agent在持續(xù)變化的工具狀態(tài)和異構(gòu)執(zhí)行環(huán)境中，可靠性仍可能下降。下一階段，百靈團(tuán)隊(duì)計(jì)劃繼續(xù)沿著架構(gòu)、系統(tǒng)、低精度訓(xùn)練推理、KV Cache管理和多模態(tài)Agent方向推進(jìn)。

對(duì)開(kāi)源生態(tài)來(lái)說(shuō)，模型開(kāi)源和技術(shù)報(bào)告公開(kāi)本身值得認(rèn)可。它讓外界能夠了解背后的數(shù)據(jù)構(gòu)建、訓(xùn)練方法、系統(tǒng)優(yōu)化等，期待更多國(guó)產(chǎn)大模型團(tuán)隊(duì)持續(xù)開(kāi)放模型、工具與技術(shù)細(xì)節(jié)，推動(dòng)開(kāi)源生態(tài)在真實(shí)應(yīng)用能力上繼續(xù)向前。