AI推理時(shí)代的到來，正在從根本上重塑半導(dǎo)體存儲行業(yè)的需求格局。隨著每個(gè)問題的平均輸出Token數(shù)量以每年超過5倍的速度激增，KV緩存管理與智能體AI部署所帶來的內(nèi)存需求，已成為AI基礎(chǔ)設(shè)施中最具挑戰(zhàn)性、也最具市場潛力的新興領(lǐng)域。

在2026年6月舉行的GTC臺北大會上，英偉達(dá)創(chuàng)始人兼首席執(zhí)行官黃仁勛明確指出，"AI的內(nèi)存系統(tǒng)將徹底變革存儲系統(tǒng)"，并將內(nèi)存系統(tǒng)列為AI基礎(chǔ)設(shè)施中最具挑戰(zhàn)性的部分之一。這一判斷直接指向兩個(gè)結(jié)構(gòu)性需求驅(qū)動力：一是推理工作負(fù)載催生的KV緩存卸載需求，二是智能體AI（Agentic AI）興起帶來的CPU內(nèi)存需求擴(kuò)張。

上述趨勢對存儲產(chǎn)業(yè)鏈的影響已開始顯現(xiàn)。英偉達(dá)相繼推出Dynamo軟件平臺與CMX上下文內(nèi)存存儲平臺，Arm、Intel、AMD等主要芯片廠商亦在2026年密集發(fā)布面向智能體AI的新一代CPU產(chǎn)品，行業(yè)正加速從以吞吐量為導(dǎo)向的架構(gòu)向以低延遲為導(dǎo)向的架構(gòu)轉(zhuǎn)型。

推理側(cè)擴(kuò)展：Token爆炸式增長重塑硬件需求

AI推理階段對硬件的要求與訓(xùn)練階段存在本質(zhì)差異。

根據(jù)英偉達(dá)公開數(shù)據(jù)，自2024年下半年以來，每個(gè)問題的平均輸出Token數(shù)量以每年超過5倍的速度激增，目前已達(dá)約30,000至40,000個(gè)Token。這一趨勢表明，行業(yè)已進(jìn)入英偉達(dá)"三大縮放定律"中的推理側(cè)擴(kuò)展"思考"階段（Test-time Scaling）。

據(jù)TrendForce分析，AI推理對硬件提出三項(xiàng)核心需求：更高的每秒查詢率（QPS）、更長的上下文窗口，以及更多的推理步驟和智能體循環(huán)。這三項(xiàng)需求分別從不同維度驅(qū)動內(nèi)存需求的結(jié)構(gòu)性變化，具體體現(xiàn)在模型權(quán)重、KV緩存與智能體AI三個(gè)層面。

模型權(quán)重屬于靜態(tài)內(nèi)存分配，其占用量與模型參數(shù)規(guī)模直接掛鉤，計(jì)算公式為：模型權(quán)重總大小 = 參數(shù)量 × 每個(gè)參數(shù)的字節(jié)數(shù)。隨著模型規(guī)模持續(xù)擴(kuò)大，這一靜態(tài)占用構(gòu)成了推理系統(tǒng)內(nèi)存需求的基礎(chǔ)底座。

KV緩存：動態(tài)膨脹催生卸載技術(shù)與SSD POD新市場

KV緩存是推理階段內(nèi)存壓力的核心來源。

KV緩存存儲推理預(yù)填充階段生成的鍵值向量，以避免解碼階段的冗余計(jì)算，屬于動態(tài)內(nèi)存分配。其總大小由層數(shù)、KV頭數(shù)、每個(gè)頭的維度、序列長度、批處理大小及精度共同決定，隨對話長度和批處理規(guī)模的增長呈非線性膨脹。

在長上下文、高批處理的推理場景下，當(dāng)GPU的HBM容量不足時(shí)，系統(tǒng)將被迫丟棄KV緩存并重新執(zhí)行預(yù)填充計(jì)算，導(dǎo)致延遲上升、總擁有成本（TCO）增加。

為解決這一瓶頸，英偉達(dá)于2025年3月發(fā)布KV緩存卸載軟件Dynamo，將訪問頻率較低的KV緩存卸載至CPU內(nèi)存和SSD等容量更大、成本更低的存儲層級，確保數(shù)據(jù)在解碼階段保持可重用性。

與Dynamo配套，英偉達(dá)于2026年1月推出CMX上下文內(nèi)存存儲平臺（CMX Context Memory Storage Platform），由BlueField-4 DPU管理，基于BlueField-4 STX機(jī)架構(gòu)建，采用64顆BlueField-4 DPU管理每機(jī)架約9,600 TB的容量，在本地SSD（G3層）與共享存儲（G4層）之間新增G3.5層級的Pod級上下文存儲層。

值得關(guān)注的是，在COMPUTEX 2026上展示的BlueField-4 DPU結(jié)構(gòu)模型中，已配備SK海力士的PEB210 E1.S和PE9010 M.2 SSD樣品。隨著英偉達(dá)、谷歌等廠商相繼推出SSD POD平臺，這一細(xì)分市場的需求預(yù)計(jì)將持續(xù)攀升。

智能體AI：CPU與GPU比例向1:1重構(gòu)，LPDRAM需求隨之?dāng)U張

智能體AI的規(guī)?；渴穑谝l(fā)AI服務(wù)器架構(gòu)的另一場深層變革。

在AI智能體工作流中，模型需主動執(zhí)行規(guī)劃、工具調(diào)用、決策及代理操作，所有編排、數(shù)據(jù)路由與子智能體評估任務(wù)均由CPU承擔(dān)。黃仁勛指出，智能體生活在納秒級的世界中，超低延遲是首要需求，這使得CPU架構(gòu)的重要性大幅提升。

TrendForce預(yù)計(jì)，隨著智能體AI部署規(guī)模擴(kuò)大，CPU與GPU的工作負(fù)載比例將從傳統(tǒng)的1:4或1:8向約1:1轉(zhuǎn)變，為CPU市場創(chuàng)造顯著增量空間，并同步帶動CPU內(nèi)存需求的結(jié)構(gòu)性增長。

英偉達(dá)于2026年推出專為智能體AI工作負(fù)載設(shè)計(jì)的Vera CPU，根據(jù)原始規(guī)格，Vera支持高達(dá)1.5 TB的LPDDR5X內(nèi)存容量，是上一代Grace CPU的三倍。

不過，TrendForce最新調(diào)查顯示，英偉達(dá)已決定將下一代Vera Rubin超級芯片模塊的SOCAMM內(nèi)存容量減半，原因在于供應(yīng)商2027年初步生產(chǎn)計(jì)劃中分配給英偉達(dá)的LPDRAM產(chǎn)能不足，這一調(diào)整并不反映英偉達(dá)整體內(nèi)存需求的下降。

在更廣泛的CPU市場，2026年正成為面向智能體AI的全面產(chǎn)品換代之年。Intel推出Xeon 6+（Clearwater Forest），AMD發(fā)布EPYC Venice，Arm推出Arm AGI CPU，Ampere的AmpereOne MX亦預(yù)計(jì)于年內(nèi)進(jìn)入量產(chǎn)。多路競爭格局的形成，將進(jìn)一步加速CPU內(nèi)存需求的釋放。

兩大驅(qū)動力共振，存儲產(chǎn)業(yè)鏈迎來結(jié)構(gòu)性機(jī)遇

綜合來看，AI推理正在從兩個(gè)相互獨(dú)立卻協(xié)同共振的維度重塑內(nèi)存需求版圖。

其一，推理工作負(fù)載驅(qū)動KV緩存消耗迅速擴(kuò)大，KV緩存卸載技術(shù)將大量數(shù)據(jù)引流至CPU內(nèi)存和SSD POD，隨著相關(guān)平臺加速落地，這一細(xì)分市場的需求可見度持續(xù)提升。

其二，智能體AI正將CPU與GPU的工作負(fù)載比例推向1:1，為CPU及其配套LPDRAM創(chuàng)造了此前不曾有過的增量市場空間。

對于存儲產(chǎn)業(yè)鏈的投資者而言，上述趨勢意味著HBM之外，企業(yè)級SSD、LPDRAM及相關(guān)DPU配套存儲產(chǎn)品正在成為AI基礎(chǔ)設(shè)施投資的新焦點(diǎn)。