機(jī)器之心發(fā)布

AI 正在學(xué)著操作電腦

過(guò)去 AI 回答問(wèn)題，現(xiàn)在它直接開(kāi)始幫你干活。填表格、錄系統(tǒng)、整理文件，Anthropic 的 Claude Cowork、OpenAI 的 Codex 桌面版 —— 越來(lái)越多的 Agent 開(kāi)始接管真實(shí)工作流。

但當(dāng)整個(gè)行業(yè)瘋狂沖向桌面時(shí)，有一個(gè)問(wèn)題被忽略了：AI 越來(lái)越會(huì)干活了，但普通人該怎么把自己的工作流程交給它

目前主流 Agent 的邏輯是 “你寫(xiě) Prompt → AI 執(zhí)行”，聽(tīng)起來(lái)合理，現(xiàn)實(shí)中卻屢屢碰壁。

打開(kāi)內(nèi)部系統(tǒng)、填表單、傳附件、點(diǎn)提交…… 這些動(dòng)作早已是員工的 “肌肉記憶”，可要用文字描述清楚，大多數(shù)人直接卡住。更別說(shuō)跨系統(tǒng)跳轉(zhuǎn)、條件分支，很多人連 Prompt 從哪兒寫(xiě)起都不知道。

如果人說(shuō)不清流程，AI 還能學(xué)會(huì)嗎

有意思的是，為了解決這個(gè)難題，硅谷催出生了一個(gè)新職業(yè) ——FDE（Forward Deployment Engineer，前沿部署工程師）

他們駐場(chǎng)在客戶(hù)公司，工作就是把業(yè)務(wù)人員 “說(shuō)不清” 的流程，翻譯成 AI 能執(zhí)行的任務(wù)。他們既要懂技術(shù)，又要熟悉真實(shí)的工作流。如今資深 FDE 的年薪中位數(shù)已高達(dá) 48.5 萬(wàn)美元。

FDE 的存在說(shuō)明了一件事：讓人學(xué)會(huì)教 AI，其實(shí)沒(méi)有那么容易

那如果能讓 AI 自己學(xué)會(huì)理解業(yè)務(wù)流程，而不是靠年薪數(shù)十萬(wàn)美元的工程師來(lái)翻譯，會(huì)怎樣？

有人給出了答案。

不會(huì)寫(xiě) Prompt？那就演示給 AI 看

由清華大學(xué)計(jì)算機(jī)系博士團(tuán)隊(duì)創(chuàng)立的非十科技，最近發(fā)布了一款桌面 Agent 產(chǎn)品 ———Agivar

與多數(shù)產(chǎn)品試圖優(yōu)化 Prompt 不同，它選擇從另一個(gè)方向切入：讓 AI 主動(dòng)學(xué)習(xí)用戶(hù)的工作流程

你可以把它理解成一個(gè)會(huì)操作電腦的 “AI 員工”

Agivar 的核心能力叫做 “錄屏教學(xué)”，使用方式非常簡(jiǎn)單：打開(kāi)電腦錄屏，像平時(shí)工作一樣把流程操作一遍。錄制結(jié)束后，剩下的事情交給 AI。

聽(tīng)上去有點(diǎn)像早年的 “按鍵精靈”？但兩者其實(shí)完全不同。

按鍵精靈記錄的是坐標(biāo)和動(dòng)作—— 鼠標(biāo)移動(dòng)到 (300,500) 點(diǎn)擊，機(jī)械重復(fù)；Agivar 學(xué)習(xí)的是任務(wù)和邏輯—— 它觀察你工作的每一步，然后理解：為什么先打開(kāi)這個(gè)頁(yè)面？為什么填這個(gè)數(shù)字？什么情況下跳過(guò)這一步？

Agivar 學(xué)到的不是 “下一步點(diǎn)哪里”，而是你的工作方法。它理解的是流程背后的規(guī)則與判斷邏輯，而不是單純復(fù)現(xiàn)點(diǎn)擊軌跡。即便界面改版、按鈕移位，它依然能識(shí)別正確目標(biāo)并執(zhí)行。

你教會(huì)它一次，它就能把這套流程穩(wěn)定、可追溯地執(zhí)行下去。

錄屏三分鐘，換回每天兩小時(shí)

廣東省某政務(wù)部門(mén)的工作人員，每天都要在內(nèi)部系統(tǒng)處理大量表單。打開(kāi)系統(tǒng)→選擇業(yè)務(wù)類(lèi)型→填寫(xiě)信息→上傳附件→提交審批，每天同樣的流程都要重復(fù)十幾次。僅這一項(xiàng)工作，日常就要花掉一、兩個(gè)小時(shí)。

這些系統(tǒng)沒(méi)有 API、沒(méi)有自動(dòng)化接口，只能靠人工點(diǎn)擊。于是他嘗試使用 Agivar。錄制了一次完整流程，不到三分鐘，此后這套流程便實(shí)現(xiàn)了自動(dòng)執(zhí)行，不用再盯著屏幕逐步操作。

錄屏三分鐘，換回每天兩小時(shí)

這樣的場(chǎng)景遠(yuǎn)非個(gè)例。政務(wù)系統(tǒng)、企業(yè) ERP、CRM、財(cái)務(wù)軟件、內(nèi)部 OA、采購(gòu)系統(tǒng)…… 大量重復(fù)、無(wú) API、只能手工操作的流程，正是成千上萬(wàn)普通員工的日常。真正消耗時(shí)間的從來(lái)不是復(fù)雜工作，而是那些讓人麻木的重復(fù)。

別的 Agent 還在思考，Agivar 已經(jīng)做完了

如果你試用過(guò)一些桌面 Agent，可能會(huì)有一個(gè)直觀感受：能干，但慢。

原因并不復(fù)雜。因?yàn)榇蠖鄶?shù)產(chǎn)品是直接調(diào)用通用多模態(tài)大模型 “硬解” 桌面任務(wù)：截圖→上傳云端→推理→返回→執(zhí)行，再截圖→再推理……

對(duì)于桌面任務(wù)來(lái)說(shuō)，這意味著大量與任務(wù)無(wú)關(guān)的能力也被帶進(jìn)了執(zhí)行過(guò)程，每次點(diǎn)擊都伴隨五秒以上延遲。整個(gè)過(guò)程像一個(gè)剛學(xué)會(huì)電腦的新人。

而 Agivar 選擇了另一條路線。

團(tuán)隊(duì)針對(duì)桌面任務(wù)場(chǎng)景訓(xùn)練了專(zhuān)用的執(zhí)行模型，強(qiáng)化了桌面操作的能力。在此基礎(chǔ)上，設(shè)計(jì)了 “大腦 + 小腦” 雙層架構(gòu)：

• 大模型（大腦）：理解錄屏內(nèi)容、拆解任務(wù)目標(biāo)、規(guī)劃執(zhí)行路徑、處理異常。
• 專(zhuān)用小模型（小腦）：界面識(shí)別、鼠標(biāo)點(diǎn)擊、鍵盤(pán)輸入、高頻動(dòng)作執(zhí)行。

這與人類(lèi)神經(jīng)系統(tǒng)非常相似。當(dāng)你開(kāi)車(chē)時(shí)，不會(huì)每踩一次油門(mén)都重新思考交通規(guī)則。大腦負(fù)責(zé)路線規(guī)劃，小腦負(fù)責(zé)具體動(dòng)作。

支撐這套架構(gòu)的，是團(tuán)隊(duì)基于清華大學(xué)自研深度學(xué)習(xí)框架Jittor（計(jì)圖） 開(kāi)發(fā)的推理引擎，針對(duì)高吞吐、低延遲場(chǎng)景的桌面任務(wù)場(chǎng)景，團(tuán)隊(duì)對(duì)模型調(diào)度和執(zhí)行鏈路進(jìn)行了專(zhuān)門(mén)優(yōu)化，確保大小模型協(xié)同不等待。

速度差距直接體現(xiàn)在數(shù)據(jù)上：

同一臺(tái)電腦執(zhí)行同一個(gè)后臺(tái)信息錄入的任務(wù)，某主流產(chǎn)品耗時(shí) 2 分 12 秒，Agivar 僅 57 秒，速度提升一倍以上。

單個(gè)任務(wù)差一分鐘，差距或許不明顯。但當(dāng)任務(wù)變成 100 份報(bào)銷(xiāo)單、300 條客戶(hù)信息，或者一天的批量審批時(shí)，分鐘級(jí)差距很快被放大成小時(shí)級(jí)成本。

比速度更難的，是確定性

速度固然重要，但企業(yè)是否能讓 Agent 走進(jìn)生產(chǎn)環(huán)境，關(guān)注的不是快，而是穩(wěn)。

大模型是概率系統(tǒng)。第一次點(diǎn) A，第二次可能點(diǎn) B，第三次換個(gè)按鈕 —— 這在寫(xiě)詩(shī)時(shí)是創(chuàng)意，在財(cái)務(wù)錄入、合同歸檔里卻是風(fēng)險(xiǎn)。

AI 能否進(jìn)入生產(chǎn)環(huán)境，拼的從來(lái)不是上限，而是下限

為了解決確定性，Agivar 做了三層設(shè)計(jì)：

1. 訓(xùn)練收斂。用海量桌面任務(wù)數(shù)據(jù)，強(qiáng)化 “界面狀態(tài)→用戶(hù)意圖→執(zhí)行動(dòng)作” 之間的穩(wěn)定映射，減少 “發(fā)散”。
2. 多重校驗(yàn)。內(nèi)部多個(gè) Agent 交叉驗(yàn)證 —— 規(guī)劃、執(zhí)行、觀察、復(fù)核，不同角色各司其職，每一步都有人問(wèn)：“點(diǎn)對(duì)了嗎？界面還在預(yù)期狀態(tài)嗎？”
3. 規(guī)則約束。高頻流程的關(guān)鍵操作節(jié)點(diǎn)、絕對(duì)不能出錯(cuò)的動(dòng)作，直接寫(xiě)成程序控制的 “鐵律”。執(zhí)行核心步驟時(shí)，系統(tǒng)會(huì)優(yōu)先遵循預(yù)設(shè)路徑，不隨意發(fā)揮。

最終目標(biāo)只有一個(gè)：同一任務(wù)重復(fù)執(zhí)行，走同樣路徑，得到同樣結(jié)果。

畢竟，對(duì)于企業(yè)來(lái)說(shuō)，生產(chǎn)環(huán)境不需要驚喜，只需要穩(wěn)定。

全棧自研，清華團(tuán)隊(duì)的硬核底牌

Agivar 的模型訓(xùn)練到執(zhí)行框架，全部由非十科技自研完成。團(tuán)隊(duì)的核心成員來(lái)自清華大學(xué)計(jì)算機(jī)系，同時(shí)也是清華自研的深度學(xué)習(xí)框架 Jittor（計(jì)圖）的主要開(kāi)發(fā)者。

Jittor 以其易用性和效率優(yōu)勢(shì)，早已成為國(guó)內(nèi)主流深度學(xué)習(xí)框架之一，這意味著 Agivar 對(duì)底層推理調(diào)度的優(yōu)化，并非建立在第三方能力之上，而是具備從框架層到模型層的完整掌控能力。

Agivar 并非團(tuán)隊(duì)的第一個(gè) “爆款”，此前團(tuán)隊(duì)推出的AI 編程助手 Fitten Code，累計(jì)下載量超過(guò) 150 萬(wàn)，在多個(gè)主流插件平臺(tái)評(píng)分第一。

同時(shí)擁有大模型自研能力、深度學(xué)習(xí)框架研發(fā)能力以及百萬(wàn)級(jí)產(chǎn)品落地經(jīng)驗(yàn)，這樣的組合，在國(guó)內(nèi)外同類(lèi)賽道中并不多見(jiàn)。

讓每個(gè)人都擁有自己的 “AI FDE”

過(guò)去兩年，AI 行業(yè)追逐的是更大、更強(qiáng)的模型。但時(shí)間走到今天，一個(gè)更現(xiàn)實(shí)的問(wèn)題浮出水面：

AI 到底能不能真正進(jìn)入普通人的工作流

FDE 模式曾是答案，但高昂的成本讓大多數(shù)人望而卻步。

今天，Agivar 選擇了一條更樸素、也更普惠的路徑：把 “翻譯” 和 “定義工作流” 的能力，交還給用戶(hù)自己。不用痛苦地學(xué) Prompt，不必改變習(xí)慣。一次錄屏演示，就能訓(xùn)練屬于自己的桌面 Agent。

目前，Agivar 已開(kāi)啟公測(cè)，支持 Windows 與 macOS。錄一遍，讓 AI 替你干活。

下載地址請(qǐng)?jiān)L問(wèn)：https://agivar.fittentech.com

從某種意義上說(shuō)，“錄屏教學(xué)” 真正改變的并不是交互方式，而是人與 AI 之間的協(xié)作關(guān)系。

它讓桌面 Agent 第一次有機(jī)會(huì)擺脫復(fù)雜配置和專(zhuān)業(yè)門(mén)檻，真正進(jìn)入普通人的工作流。如果說(shuō)過(guò)去的軟件是在要求人適應(yīng)系統(tǒng)，那么下一代的 Agent 正在反過(guò)來(lái)適應(yīng)人。

而當(dāng)每個(gè)人都擁有一個(gè)能夠理解自己工作流程的 “AI FDE” 時(shí)，這場(chǎng)關(guān)于效率的變革，或許才剛剛開(kāi)始。

文中視頻鏈接：https://mp.weixin.qq.com/s/c8xIwgeulISyyuQee7cwnA