編輯｜+0

在過(guò)去的幾年里，Scaling Law 被整個(gè) AI 行業(yè)奉為圭臬。大家普遍認(rèn)為，模型越大，參數(shù)越多，其涌現(xiàn)出的邏輯推理與世界知識(shí)就越強(qiáng)。

但大模型的巨額推理成本、不可控的網(wǎng)絡(luò)延遲以及嚴(yán)苛的數(shù)據(jù)隱私風(fēng)險(xiǎn)，讓真正的 AI 普惠成了一個(gè)偽命題。性能、時(shí)效、并發(fā)，構(gòu)成了大模型落地時(shí)難以逾越的「不可能三角」。

今年是 AI 應(yīng)用大規(guī)模落地的一年，當(dāng)我們真正審視 AI 普惠的現(xiàn)實(shí)需求時(shí)，會(huì)發(fā)現(xiàn)一個(gè)反常識(shí)的演進(jìn)趨勢(shì)：在某些維度上，參數(shù)規(guī)模更小的模型，反而能爆發(fā)出更高的效率與特定場(chǎng)景下的性能優(yōu)勢(shì)。

其實(shí)早有廠商注意到了端側(cè)落地和云端降本的現(xiàn)實(shí)需求，悄悄在 1B（十億）參數(shù)規(guī)模以下的端側(cè)模型賽道上開(kāi)始布局。

有人可能會(huì)問(wèn)，這么小的模型有什么用？

在真實(shí)的業(yè)務(wù)場(chǎng)景里，這些端側(cè)模型正在干著最基礎(chǔ)但最實(shí)用的活。

它們體積小巧，既能在手機(jī)端毫秒級(jí)離線運(yùn)行、嚴(yán)格保護(hù)隱私，也能扛住千萬(wàn)級(jí)并發(fā)下的低延遲意圖識(shí)別。在 RAG 系統(tǒng)里，充當(dāng)著智能路由器和數(shù)據(jù)清洗工，分流閑聊請(qǐng)求、壓縮大模型調(diào)用成本；配合超大模型推理時(shí)，又以投機(jī)采樣技術(shù)將預(yù)測(cè)速度拉高 2 至 3 倍。更關(guān)鍵的是，在信息提取、格式轉(zhuǎn)換等窄任務(wù)上，微調(diào)后的端側(cè)模型幾乎零幻覺(jué)，準(zhǔn)確率甚至超過(guò)百億大模型——論單點(diǎn)專精，云端大模型未必打得過(guò)它。

從阿里的 Qwen3.5-0.8B 到谷歌針對(duì)移動(dòng)端的 Gemma 4 E2B-it，輕量級(jí) LLM 正在快速接管那些追求快、穩(wěn)、省資源的輔助性任務(wù)。

5 月 11 日面壁智能正式發(fā)布并開(kāi)源了 MiniCPM-V 系列新一代基礎(chǔ)模型——MiniCPM-V 4.6。這款模型的整體參數(shù)規(guī)模僅約 1B（1.3B），是該系列有史以來(lái)參數(shù)規(guī)模最小的一款。但在多模態(tài)綜合能力上，它卻成功超越了被視為標(biāo)桿的阿里 Qwen3.5-0.8B 和谷歌 Gemma 4 E2B-it，做到了「尺寸更小、效率更高、性能更好」。

Hugging Face：https://huggingface.co/openbmb/MiniCPM-V-4.6

GitHub：https://github.com/OpenBMB/MiniCPM-V

Modelscope：https://modelscope.cn/models/OpenBMB/MiniCPM-V-4.6

Web Demo：https://huggingface.co/spaces/openbmb/MiniCPM-V-4.6-Demo

App Demo：https://github.com/OpenBMB/MiniCPM-V-Apps

從 2024 年 4 月初次驚艷亮相至今，MiniCPM-V 已經(jīng)在汽車、PC、手機(jī)、智能家居等終端場(chǎng)景中實(shí)現(xiàn)了廣泛的商業(yè)落地。

此次 MiniCPM-V 4.6 的發(fā)布，不僅在參數(shù)規(guī)模、推理速度、計(jì)算成本等多個(gè)維度都有明顯提升，也讓面壁智能在側(cè)端多模態(tài)開(kāi)源領(lǐng)域站穩(wěn)了腳跟。這距離面壁智能「智周萬(wàn)物」的愿景，又邁出了堅(jiān)實(shí)的一大步。

為什么說(shuō) 1B 的

MiniCPM-4.6 是「端側(cè)第一」？

評(píng)價(jià)一款端側(cè)模型，不能僅看參數(shù)大小，更要看它在極端受限的算力環(huán)境下，能爆發(fā)出多大的「智能密度」。不同尺寸的模型運(yùn)行門(mén)檻截然不同，參數(shù)越小，意味著運(yùn)行門(mén)檻越低、速度越快，能夠完美適配更廣泛的芯片和算力環(huán)境。

MiniCPM-V 4.6 的「端側(cè)第一」，是通過(guò)實(shí)打?qū)嵉亩嗄B(tài)綜合能力與極致的推理效率雙重驗(yàn)證的。

在業(yè)內(nèi)公認(rèn)的幾大核心評(píng)測(cè)基準(zhǔn)中，MiniCPM-V 4.6 展現(xiàn)出了遠(yuǎn)超其體量的綜合實(shí)力。根據(jù)最新的評(píng)測(cè)數(shù)據(jù)，其在同尺寸模型范圍內(nèi)的智能密度位列最高。

• 全面超越 Qwen3.5-0.8B：目前業(yè)內(nèi)最新的 1B 左右多模態(tài)標(biāo)桿是 Qwen3.5-0.8B，而 MiniCPM-4.6 版本在大部分圖文理解任務(wù)等基礎(chǔ)能力上均實(shí)現(xiàn)了超越。

• 極致的 Token 利用率：在權(quán)威的 Artificial Analysis 評(píng)測(cè)體系中，MiniCPM-V 4.6 僅使用了相當(dāng)于 Qwen3.5-0.8B 2.5% 的 Token 吞吐量，就取得了超越后者的成績(jī)。這種對(duì)上下文的高效利用，是端側(cè)模型極為看重的特質(zhì)。

對(duì)于「高并發(fā)」的云端工業(yè)場(chǎng)景和算力功耗受限的終端硬件來(lái)說(shuō)，推理速度和吞吐量是核心指標(biāo)。得益于 16 倍視覺(jué) Token 壓縮這一核心技術(shù)，我們直接來(lái)看 MiniCPM-V 4.6 在 RTX 4090 + vLLM 推理環(huán)境下的實(shí)測(cè)表現(xiàn)，其在兩大關(guān)鍵維度上同時(shí)建立起了顯著的優(yōu)勢(shì)：

首先，在單并發(fā)首字響應(yīng)延遲（TTFT）上，MiniCPM-V 4.6 表現(xiàn)出了極高的穩(wěn)定性。它幾乎把「分辨率——延遲」曲線壓得平坦。當(dāng)處理 31362 的超高清大圖時(shí)，其首響僅需 75.7 毫秒，較同基座規(guī)模的 Qwen3.5-0.8B 快 2.2 倍。這意味著用戶在 4090 顯卡上加載一張 4K 級(jí)別的照片進(jìn)行提問(wèn)時(shí)，模型幾乎能做到「秒回」。

其次，在高并發(fā)吞吐量上優(yōu)勢(shì)同樣亮眼。在輸出長(zhǎng)度為 200 token 的設(shè)定下，RTX 4090 單卡處理 13442 分辨率圖片的吞吐量可達(dá) 2624 token/s，即每秒可處理 14.3 張圖片，是 Qwen3.5-0.8B 的 1.4 倍。這意味著同樣的硬件部署 MiniCPM-V 4.6，可以承載數(shù)倍的線上業(yè)務(wù)流量。

這兩個(gè)維度共同指向同一個(gè)結(jié)論——MiniCPM-V 4.6 用更短的視覺(jué)序列、更小的 KV-Cache 占用，把多模態(tài)推理的端側(cè)體感與云側(cè) ROI（投資回報(bào)率）同時(shí)推到了新的高度。

為了直觀感受，我們來(lái)看看 MiniCPM-V 4.6 單在實(shí)際的移動(dòng)端設(shè)備（iPhone 17）上的運(yùn)行效果。

• 讓 AI 觀察圖片識(shí)別物體

我們向 MiniCPM-V 4.6 喂入了一張 3024x3024 分辨率（近千萬(wàn)像素）的實(shí)拍食物原圖，經(jīng)過(guò)預(yù)處理后，正如前文數(shù)據(jù)所印證的那樣，得益于模型極小的 KV-Cache 占用，一旦跨過(guò)最耗時(shí)的預(yù)處理門(mén)檻，極度精簡(jiǎn)的視覺(jué)序列交接給 1B 語(yǔ)言基座后，文本生成速度便瞬間起飛。在我們順著圖片細(xì)節(jié)進(jìn)行二次追問(wèn)時(shí)，不需要重新經(jīng)歷漫長(zhǎng)的讀圖，直接實(shí)現(xiàn)了幾乎「零預(yù)熱」的秒回響應(yīng)，真正做到了毫秒級(jí)的連續(xù)解碼。

• 復(fù)雜的文字識(shí)別

再看文本類任務(wù)，可以看到經(jīng)過(guò)預(yù)處理后，無(wú)論是提取文本還是翻譯成多種語(yǔ)言，MiniCPM-V 4.6 的表現(xiàn)都可以用「迅雷不及掩耳」來(lái)形容。按下發(fā)送鍵的瞬間，文字流便如流水般涌出，精準(zhǔn)的圖文解析能力和極低的首答延遲，真正讓人感受到 AI 已經(jīng)融入了設(shè)備的「血液」中，而非遙遠(yuǎn)的云端接口。

扒開(kāi)論文，

看 MiniCPM-V 4.6 的技術(shù)邏輯

為什么在參數(shù)量極?。▋H 1B）、甚至與競(jìng)品相近的情況下，MiniCPM-V 4.6 能夠爆發(fā)出如此驚人的推理效率和算力性價(jià)比？甚至實(shí)現(xiàn)了「參數(shù)量略大，效率卻大幅反超」的奇跡？

答案藏在面壁智能與清華大學(xué)團(tuán)隊(duì)最新聯(lián)合研發(fā)的第四代 LLaVA-UHD (v4)架構(gòu)之中。針對(duì)高分辨率圖像處理中的視覺(jué)編碼效率問(wèn)題，研發(fā)團(tuán)隊(duì)做了兩項(xiàng)關(guān)鍵的技術(shù)改進(jìn)。

創(chuàng)新一：ViT 內(nèi)部視覺(jué) Token 早壓縮

目前社區(qū)處理高分辨率圖像的主流方案通常是全局編碼（Global Encoding），即保留原始分辨率，將全圖直接送入視覺(jué)編碼器。但這會(huì)導(dǎo)致注意力機(jī)制的計(jì)算開(kāi)銷隨著分辨率的提升呈二次方級(jí)別爆炸。

LLaVA-UHD v4 首先采用了切片編碼，將大圖分割為多個(gè)區(qū)塊進(jìn)行處理，從結(jié)構(gòu)上規(guī)避了二次方的算力膨脹，并通過(guò)實(shí)驗(yàn)證明切片編碼能提供比全局編碼更豐富的特征表示，下游性能更好。

然而，切片編碼雖然解決了全局注意力的計(jì)算爆炸，但高分辨率圖片依然會(huì)生成極其龐大的視覺(jué) Token 序列，給后端的語(yǔ)言模型帶來(lái)沉重的推理負(fù)擔(dān)?，F(xiàn)有的主流優(yōu)化方案，大多是在 ViT 提取完所有特征之后，再進(jìn)行 Token 壓縮。這種做法治標(biāo)不治本，僅僅減輕了 LLM 的負(fù)擔(dān)，卻完全沒(méi)有降低龐大的視覺(jué)編碼器內(nèi)部的計(jì)算量。

面壁智能的解法是：將壓縮動(dòng)作「前置」。

為了實(shí)現(xiàn)極致高效，LLaVA-UHD v4 設(shè)計(jì)了一種早期 ViT 內(nèi)壓縮模塊。直覺(jué)上，壓縮越早進(jìn)行，后續(xù)絕大部分的 ViT 層需要處理的 Token 就越少，計(jì)算量自然大幅下降。但難點(diǎn)在于，如果在 ViT 淺層簡(jiǎn)單粗暴地插入隨機(jī)初始化的下采樣模塊，會(huì)嚴(yán)重破壞模型在預(yù)訓(xùn)練階段辛苦學(xué)到的視覺(jué)表征，不僅訓(xùn)練代價(jià)極其高昂，還會(huì)導(dǎo)致模型「變笨」。

為此，研發(fā)團(tuán)隊(duì)巧妙地引入了窗口注意力機(jī)制，在 Token 合并前增強(qiáng)鄰近 Token 的上下文交互；同時(shí)，通過(guò)復(fù)用相鄰預(yù)訓(xùn)練 ViT 層的參數(shù)，實(shí)現(xiàn)了參數(shù)的平滑初始化，最大限度地減小了對(duì)視覺(jué)表征的擾動(dòng)。

這一架構(gòu)創(chuàng)新，使得視覺(jué) Token 壓縮能夠穩(wěn)定前移至 ViT 淺層，在保持下游任務(wù)性能完全不掉點(diǎn)的前提下，將視覺(jué)編碼階段的浮點(diǎn)運(yùn)算量暴降了 55.8%（節(jié)省了約一半的圖像編碼開(kāi)銷）。這也是為什么 MiniCPM-V 4.6 能夠在處理高清大圖時(shí)，不僅看得清，而且跑得飛快。

創(chuàng)新二：4 倍 / 16 倍混合視覺(jué) Token 壓縮率

視覺(jué) Token 的壓縮率直接影響到顯存占用、首響延遲、推理吞吐和功耗等關(guān)鍵指標(biāo)。目前市面上的多模態(tài)模型，絕大部分只能做到 4 倍的壓縮率。

面壁智能的 MiniCPM-V 系列從 2024 年初就開(kāi)始死磕 16 倍壓縮率。在此之前的版本中，開(kāi)發(fā)者只能在「4 倍」和「16 倍」之間二選一。但在 MiniCPM-V 4.6 中，面壁智能實(shí)現(xiàn)了「魚(yú)與熊掌兼得」：

• 4 倍壓縮模式：性能拉滿，精度極高，適合需要細(xì)粒度視覺(jué)解析的場(chǎng)景。
• 16 倍壓縮模式：速度起飛，吞吐量爆表，既利于在算力受限的終端硬件上落地，又能以極低的成本承接巨大的云端業(yè)務(wù)流量，滿足「高并發(fā)」的工業(yè)級(jí)需求。

16 倍壓縮率的含金量有多高？我們可以看一個(gè)快手推薦算法的真實(shí)工業(yè)案例。

在快手 2025 年發(fā)布的 OneRec 推薦大模型中，系統(tǒng)需要處理海量短視頻的字幕、標(biāo)簽、ASR、OCR、封面圖等多模態(tài)數(shù)據(jù)。由于用戶體量龐大，并發(fā)請(qǐng)求量極高，快手最終選用 MiniCPM-V-8B 來(lái)處理底層多模態(tài)數(shù)據(jù)的特征提取，承接了快手短視頻推薦主場(chǎng)景高達(dá) 25% 的請(qǐng)求。這個(gè)案例說(shuō)明 MiniCPM-V 系列在高并發(fā)工業(yè)場(chǎng)景下的可用性和成本優(yōu)勢(shì)是經(jīng)過(guò)實(shí)際驗(yàn)證的。

一張 4090 就能爆改的「保姆級(jí)」基座

評(píng)判一個(gè)開(kāi)源模型的生命力，不僅要看它在榜單上如何稱王，更要看它能否迅速落到開(kāi)發(fā)者的代碼庫(kù)里、跑在業(yè)務(wù)的服務(wù)器上發(fā)光發(fā)熱。

本次發(fā)布，面壁智能不僅帶來(lái)了一個(gè)極其能打的 1B 模型，更為社區(qū)開(kāi)發(fā)者、高校研究團(tuán)隊(duì)以及初創(chuàng)公司準(zhǔn)備了一套從微調(diào)（Fine-tuning）到部署（Deployment）開(kāi)箱即用的「保姆級(jí)」二次開(kāi)發(fā)基石。它天生就是為了被「爆改」而生的。

打破算力壁壘：消費(fèi)級(jí)顯卡即刻開(kāi)跑

大模型的微調(diào)往往讓人聯(lián)想到昂貴的 A100/H100 算力集群，這讓很多獨(dú)立開(kāi)發(fā)者和中小型企業(yè)望而卻步。但 MiniCPM-V 4.6 得益于其極致精簡(jiǎn)的 1B 參數(shù)量，將定制微調(diào)的門(mén)檻大幅降低。

開(kāi)發(fā)者只需一張 RTX 4090 等消費(fèi)級(jí)顯卡，就能跑通完整的微調(diào)流程。這意味著驗(yàn)證一個(gè)想法、定制一個(gè)垂類場(chǎng)景模型（如工業(yè)流水線上的缺陷檢測(cè)、金融領(lǐng)域的復(fù)雜財(cái)報(bào)解析），不需要申請(qǐng)大量算力預(yù)算，在本地 PC 上就能完成。

擁抱主流生態(tài)：微調(diào)與推理全鏈路打通

「好用」是開(kāi)源生態(tài)的核心。為了讓開(kāi)發(fā)者徹底告別配環(huán)境配到崩潰的「折磨」，MiniCPM-V 4.6 實(shí)現(xiàn)了與當(dāng)前主流開(kāi)源工具鏈的全面無(wú)縫對(duì)接：

• 微調(diào)框架全面原生支持：官方原生深度適配了 ms-swift 與 LLaMA-Factory 等業(yè)內(nèi)最受歡迎的微調(diào)框架。無(wú)論你是偏好代碼還是可視化操作，只需準(zhǔn)備好自己的場(chǎng)景數(shù)據(jù)，修改幾行配置文件，一鍵即可拉起專屬模型的訓(xùn)練，官方甚至貼心地提供了中英雙語(yǔ)的 CookBook 教程。
• 推理框架全家桶兼容：在模型部署端，官方同步適配了目前最頂級(jí)的幾大高性能推理框架：vLLM、SGLang、llama.cpp 和 Ollama。

如果你追求云端極致并發(fā)，可以使用 vLLM 或 SGLang；如果你要在沒(méi)有獨(dú)立顯卡的輕薄本、Mac 甚至手機(jī)上進(jìn)行純 CPU/端側(cè)推理，llama.cpp 和 Ollama 能夠讓你游刃有余地完成高效部署。

極低的顯存占用、極高的并發(fā)吞吐量、完備的上下游工具鏈，使 MiniCPM-V 4.6 成為了構(gòu)建高并發(fā)、極速響應(yīng)多模態(tài)應(yīng)用的高性價(jià)比首選。

不止于 1B：

面壁智能的端側(cè)「長(zhǎng)期主義」

MiniCPM-V 4.6 的這次表現(xiàn)，背后是面壁智能在端側(cè)多模態(tài)領(lǐng)域多年的持續(xù)積累?；仡?MiniCPM-V 系列的發(fā)展路徑，可以看到一條以「智能密度」為核心的清晰脈絡(luò)：

• MiniCPM-V 2.0（2.8B，2024 年 4 月）：確立了「以小博大」的基調(diào)，在 7B 以下模型中排名靠前，在 OCRBench 上達(dá)到開(kāi)源最優(yōu)水平，展現(xiàn)了較強(qiáng)的高清圖像解析能力和防幻覺(jué)能力。
• MiniCPM-V 2.5（8B，2024 年 5 月）：支持 30 多種語(yǔ)言，OCR 成績(jī)達(dá)到 SOTA，綜合性能超過(guò) GPT-4V 和 Gemini Pro Vision 等商業(yè)模型。
• MiniCPM-V 2.6（8B，2024 年 8 月）：首次在端側(cè)同時(shí)支持單圖、多圖聯(lián)合理解和實(shí)時(shí)視頻推理，量化后僅需 6G 內(nèi)存，在主流手機(jī)和 iPad 上實(shí)現(xiàn)了對(duì)標(biāo) GPT-4V 水平的交互。
• MiniCPM-V 4.0（4.1B，2025 年）：參數(shù)減半但性能提升，專為移動(dòng)端優(yōu)化，在新款手機(jī)上實(shí)現(xiàn)了低延遲的實(shí)時(shí)交互，在 OpenCompass 等榜單取得同級(jí) SOTA。
• MiniCPM-V 4.5（8B，2025 年）：行業(yè)首個(gè)具備較高幀率視頻理解能力的多模態(tài)模型，獨(dú)創(chuàng) 3D-Resampler 架構(gòu)支持最高 10 FPS 長(zhǎng)視頻解析，配合 96 倍視頻 Token 壓縮率，綜合能力超過(guò) 72B 開(kāi)源模型，也超越了 GPT-4o-latest。

從 2.0 到 4.6，MiniCPM-V 系列一步步拓展了端側(cè)模型的能力邊界：超高清長(zhǎng)文檔解析、連續(xù)視頻理解、多圖聯(lián)合推理、高密度文本提取，這些任務(wù)在端側(cè)模型上逐漸成為可能。這也讓該系列在聯(lián)想、吉利、上汽大眾、廣汽等企業(yè)的實(shí)際業(yè)務(wù)中落地。

更令人振奮的是，面壁智能在端側(cè)多模態(tài)的路線早已獲得了國(guó)際頂尖學(xué)術(shù)共同體的認(rèn)可。其關(guān)于「密度定律」的相關(guān)成果成功發(fā)表于國(guó)際頂級(jí)學(xué)術(shù)期刊《Nature Communications》。

2024 年 6 月，斯坦福一個(gè)團(tuán)隊(duì)被發(fā)現(xiàn)直接套用了 MiniCPM-V 2.5 的成果，隨后公開(kāi)致歉。這件事從另一個(gè)角度說(shuō)明，中國(guó)多模態(tài)大模型的研究已經(jīng)走到了全球開(kāi)源社區(qū)的前列，不再只是在別人的基礎(chǔ)上做二次開(kāi)發(fā)。

結(jié)語(yǔ)

回到文章開(kāi)篇的問(wèn)題：1B 以下的端側(cè)模型，到底有什么實(shí)際意義？

當(dāng)我們被云端千億參數(shù)巨獸的發(fā)布會(huì)不斷轟炸時(shí)，很容易陷入一種唯參數(shù)論的迷思。然而，AI 的最終目的不是停留在機(jī)房里炫技，而是融入人類生活的每一個(gè)角落。

MiniCPM-V 4.6 給出了一個(gè)具體的答案：端側(cè)模型的意義，在于用更低的成本、更快的速度、更好的隱私保護(hù)，把視覺(jué)理解和認(rèn)知推理能力塞進(jìn)手機(jī)、電腦、汽車和智能家電里。

當(dāng)一款 1B 參數(shù)的模型，通過(guò)架構(gòu)優(yōu)化和混合 Token 壓縮，在性能上超過(guò)同類、在速度上實(shí)現(xiàn)單卡數(shù)千 Token 的秒級(jí)吞吐，且讓開(kāi)發(fā)者用一張消費(fèi)級(jí)顯卡就能定制，它就已經(jīng)不再是一個(gè)簡(jiǎn)單的「技術(shù) Demo」，而是加速整個(gè)邊緣計(jì)算生態(tài)全面爆發(fā)的強(qiáng)勁催化劑。

大廠卷端側(cè)模型，是因?yàn)槲磥?lái)屬于邊緣側(cè)。而面壁智能與它的 MiniCPM-V 家族，正在這條通往「智周萬(wàn)物」的道路上，刻下屬于中國(guó)架構(gòu)的深刻印記。

文中視頻鏈接：https://mp.weixin.qq.com/s/jN5OJCrHnaPSjINfM1yQQA