編輯｜Panda

咱們 AI 領(lǐng)域，研究者既是一個(gè)身份，也是一種幻覺。

很多人以為自己在做研究，其實(shí)只是在追論文、追熱點(diǎn)、追大廠的發(fā)布會(huì)……看起來很忙，實(shí)則在原地踏步。

近日，Anthropic 研究者 Vivek Nair 發(fā)布了一篇 長文，分享了他對(duì)于如何成為一位優(yōu)秀研究者的見解。

• 原文地址：https://x.com/itsreallyvivek/status/2064686372737454155

他指出，真正的研究能力從來不是靠追熱點(diǎn)追出來的，而是由一系列可被刻意訓(xùn)練的小技能疊加而成的：怎么選題、怎么讀文獻(xiàn)、怎么寫作、怎么加速實(shí)驗(yàn)循環(huán)，每一條都有具體的方法，每一條都踩過真實(shí)的坑。

這篇文章沒有雞湯，只有干貨，讀完你可能會(huì)覺得有點(diǎn)刺痛；因?yàn)樗f的，正是我們大多數(shù)人從未認(rèn)真想過的問題。

這篇文章引發(fā)廣泛關(guān)注，很多研究者也參與討論。

Qwen 前負(fù)責(zé)人林俊旸也轉(zhuǎn)發(fā)分享了一下。

下面我們就來詳細(xì)看看這篇文章：

真的沒有人教你做研究。你會(huì)得到一張辦公桌，一個(gè)別人挑選好的問題，以及一個(gè)模糊的指示，要求你產(chǎn)出一些新穎的東西。因此，大多數(shù)人通過他們能看到的東西（即論文、帖子和公告）對(duì)這份工作進(jìn)行逆向工程。

他們最終學(xué)到的是如何看起來像一個(gè)研究者，并未學(xué)到如何真正成為一個(gè)研究者。

真正的研究能力是由一堆較小的技能疊加而成的，其中幾乎每一項(xiàng)技能都可以被刻意訓(xùn)練。

挑選你自己的問題

理查德·漢明（Richard Hamming）在貝爾實(shí)驗(yàn)室有一個(gè)習(xí)慣，這讓他在午餐時(shí)很不受歡迎。他會(huì)問坐在他附近的人，他們那個(gè)領(lǐng)域的重要問題是什么。接著他會(huì)問，為什么他們沒有在研究這些問題。于是人們紛紛換桌子。

Richard Hamming（1915-1998）是美國數(shù)學(xué)家、計(jì)算機(jī)科學(xué)先驅(qū)，長期任職于 Bell Labs。他最著名的貢獻(xiàn)是提出了漢明碼（Hamming Code）和漢明距離（Hamming Distance），奠定了現(xiàn)代糾錯(cuò)編碼與數(shù)字通信的重要基礎(chǔ)，使計(jì)算機(jī)和通信系統(tǒng)能夠檢測并糾正數(shù)據(jù)傳輸中的錯(cuò)誤。除了技術(shù)研究外，Hamming 還以其關(guān)于科研方法論的思考聞名，其演講《You and Your Research》至今仍被廣泛傳播，被許多科學(xué)家和工程師視為關(guān)于如何開展重要研究的經(jīng)典作品。

這個(gè)問題令人刺痛，因?yàn)槲覀兇蠖鄶?shù)人都拿不出好的答案。我們不去選擇問題，只會(huì)吸收它們。我們從導(dǎo)師那里，從某個(gè)大實(shí)驗(yàn)室上個(gè)季度宣布的內(nèi)容里，從大家本周都在轉(zhuǎn)發(fā)引用的那篇論文里吸收問題。

吸收來的問題的麻煩在于，你只掌握了結(jié)論，卻缺乏推理過程。

你知道某個(gè)著名的實(shí)驗(yàn)室關(guān)心某個(gè)方向。你不知道原因，不知道他們期望發(fā)現(xiàn)什么，也不知道什么會(huì)導(dǎo)致他們放棄這個(gè)方向。當(dāng)他們轉(zhuǎn)換研究方向時(shí)，你會(huì)在一年后才發(fā)現(xiàn)。而且在一個(gè)已經(jīng)很流行的問題上，你正與一千個(gè)起步更早、擁有比你更多算力的人同臺(tái)競爭。

約翰·舒爾曼（John Schulman）關(guān)于 ML 研究的指南將這項(xiàng)工作分為兩種模式。

http://joschu.net/blog/opinionated-guide-ml-research.html

第一種模式里，你閱讀文獻(xiàn)并尋找可以改進(jìn)的地方。另一種模式下，你選擇一個(gè)你真心希望存在的結(jié)果，然后反向推理出所需的實(shí)驗(yàn)。

他主張第二種方式。其背后的深層原因是這種方式能夠創(chuàng)造出原創(chuàng)性。一個(gè)你真正關(guān)心的目標(biāo)會(huì)將你拖入沒有任何綜述論文涵蓋的領(lǐng)域。

與此同時(shí)，品味常被討論得像是一種天賦。但它的表現(xiàn)更像是一塊肌肉。在你運(yùn)行每個(gè)實(shí)驗(yàn)之前，先預(yù)測它的結(jié)果。遮住一篇論文的結(jié)果部分，僅根據(jù)方法來猜測數(shù)據(jù)。記下本月發(fā)布的哪些內(nèi)容在 2 年后仍然重要，以后再來檢查你的預(yù)測命中率。一次預(yù)測加上一次糾正，重復(fù)幾百次，這就是每一個(gè)優(yōu)秀模型被訓(xùn)練出來的方式。你大腦里的那個(gè)模型也不例外。

升級(jí)你的輸入

共享的閱讀清單會(huì)產(chǎn)生共享的想法。如果你的信息來源是 arXiv 的趨勢頁面，加上那些在群聊過濾后幸存下來的內(nèi)容，你必然會(huì)與其他人同時(shí)得出相同的結(jié)論。這會(huì)讓這些結(jié)論幾乎毫無價(jià)值。

舊資料的價(jià)值被嚴(yán)重低估了。這個(gè)領(lǐng)域總是延遲重演它自己的過去：混合專家模型可追溯到 1991 年，LSTM 可追溯到 1997 年，反向傳播在 1986 年成為主流。

理查德·薩頓（Rich Sutton）在 2019 年大約用了一千字寫下了「苦澀的教訓(xùn)」。它比長度是其十倍的綜述文章更能準(zhǔn)確預(yù)測該領(lǐng)域的發(fā)展輪廓。

http://www.incompleteideas.net/IncIdeas/BitterLesson.html

克勞德·香農(nóng)（Claude Shannon）在 1952 年做了一場關(guān)于創(chuàng)造性思維（Creative Thinking）的演講。他的開場動(dòng)作是將一個(gè)問題縮小到幾乎微不足道的程度，解決這個(gè)極小化版本，然后再將難度逐一引入。這一個(gè)技巧將幫助你突破障礙，其效果遠(yuǎn)勝任何現(xiàn)代的生產(chǎn)力建議。

香農(nóng)

知識(shí)的廣度與深度同樣重要?？山忉屝院翢o顧忌地從神經(jīng)科學(xué)中借鑒內(nèi)容。評(píng)估設(shè)計(jì)就是穿上了實(shí)驗(yàn)室外套的機(jī)制設(shè)計(jì)。如果你對(duì) GPU 實(shí)際如何移動(dòng)內(nèi)存有一種實(shí)踐層面的認(rèn)知，你就能在基準(zhǔn)測試結(jié)果出來之前，判斷出哪些架構(gòu)論文注定會(huì)失敗。此外，誠實(shí)的統(tǒng)計(jì)學(xué)可能是 ML 中最罕見的技能。在這里，許多發(fā)表出來的所謂嚴(yán)謹(jǐn)研究，只是一種帶有誤差棒的虛假氛圍。

還有一件事。去閱讀論文本身，別去讀總結(jié)它的帖子。附錄才是真正隱藏關(guān)鍵細(xì)節(jié)的地方。而且，局限性部分通常是整篇文檔中最誠實(shí)的一段。

寫下一切

保羅·格雷厄姆（Paul Graham）指出，一個(gè)想法在你試圖用語言表達(dá)它之前，都會(huì)感覺已經(jīng)完全成型。紙面書寫會(huì)發(fā)現(xiàn)你大腦掩蓋住的漏洞。比如你從未測試過的假設(shè)，其實(shí)缺乏連貫性的步驟，以及兩個(gè)暗中相互矛盾的主張。

費(fèi)曼法則（Feynman's Rule）是，你必須避免愚弄的第一個(gè)人就是你自己。因?yàn)槟闶亲钊菀妆划?dāng)作目標(biāo)的。寫作是有史以來發(fā)明的最廉價(jià)的防御手段。

費(fèi)曼

達(dá)爾文走得更遠(yuǎn)，并使其程序化。任何與他的理論相悖的事實(shí)都會(huì)被當(dāng)場寫下來。因?yàn)樗l(fā)現(xiàn)自己的記憶刪除不利證據(jù)的速度，比刪除有利證據(jù)的速度快得多。

你的記憶對(duì)你那些失敗的實(shí)驗(yàn)也會(huì)做同樣的事情。保持記錄的習(xí)慣：假設(shè)、設(shè)置、期望、結(jié)果、更新后的認(rèn)知。重新閱讀上個(gè)月的記錄會(huì)讓你感到謙卑，這是任何審稿人都無法比擬的。

然后將其中一些內(nèi)容公之于眾。奧拉和卡特關(guān)于研究債務(wù)的文章提出，各個(gè)領(lǐng)域都因?yàn)槲幢幌南敕ǘ舷?。清晰的解釋不僅是一項(xiàng)服務(wù)工作，它就是一項(xiàng)真正的貢獻(xiàn)。今天許多從事可解釋性研究的人是通過易讀的帖子發(fā)現(xiàn)這個(gè)領(lǐng)域的，他們并未通過會(huì)議論文入門。大量的公開寫作也可以作為你能擁有的最強(qiáng)資歷。因?yàn)樗悄闼伎挤绞降囊环轃o法偽造的樣本。

收緊反饋循環(huán)

關(guān)于 Alec Radford 的故事很少涉及某一次單一的天才靈感。這些故事往往關(guān)乎數(shù)量。每天更多的運(yùn)行次數(shù)，每周拋棄更多的錯(cuò)誤想法，以及一個(gè)比任何人都更新得更快的現(xiàn)實(shí)模型。這才是真正的游戲規(guī)則。研究的速度主要取決于你發(fā)現(xiàn)自己犯錯(cuò)的速度。

這使得開發(fā)工具成為了一項(xiàng)頂級(jí)的科研活動(dòng)。啟動(dòng)一次運(yùn)行應(yīng)該只需要一條命令。繪制結(jié)果圖表應(yīng)該只需要多加一條命令。每一個(gè)實(shí)驗(yàn)都應(yīng)該能從其配置文件中復(fù)現(xiàn)。比較兩次運(yùn)行應(yīng)該只需要幾秒鐘，絕對(duì)不需要花一個(gè)下午去翻找歷史記錄。

Karpathy 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的秘訣中有一個(gè)步驟，其回報(bào)百倍于投入：在大規(guī)模訓(xùn)練之前，先在一個(gè)單批次數(shù)據(jù)上過擬合。只要 30 秒的時(shí)間，你的一半 bug 就會(huì)消失?？s小一切規(guī)模直到成本低廉，把一切弄正確，然后再消耗算力。

Karpathy

并且，拋棄工程在這里只是次要角色的想法。在前沿領(lǐng)域，這兩項(xiàng)工作已經(jīng)融合。能夠建立測試框架、評(píng)估機(jī)制和數(shù)據(jù)流水線的研究者，才是其假設(shè)真正能被測試的人。其他所有人都在排隊(duì)等待。

盯著輸出結(jié)果

一條下降的損失曲線并不能算作分析。它只是一種安慰。你的實(shí)驗(yàn)所釋放出的信息遠(yuǎn)超你的消耗量。比如記錄、失敗案例，以及分布中奇怪的尾部現(xiàn)象。其中大部分信息都未被閱讀，死在了日志文件夾中。

Karpathy 的秘訣在編寫任何訓(xùn)練代碼之前就開始了。他會(huì)花上幾個(gè)小時(shí)手動(dòng)處理原始數(shù)據(jù)。大多數(shù) ML 的 bug 都存在于數(shù)據(jù)中，并且它們會(huì)悄無聲息地失敗。沒有任何東西會(huì)崩潰。你得到的僅僅是一個(gè)平庸的模型，以及一個(gè)關(guān)于其原因的錯(cuò)誤理論。

吳恩達(dá)十多年來一直在教授同樣并不光鮮的招數(shù)，因?yàn)闆]有什么能打敗它。挑出一百個(gè)失敗案例，把它們?nèi)靠匆槐?。將它們分門別類，然后集中攻克最大的一類。它對(duì)模型有效，對(duì)評(píng)估機(jī)制也同樣有效。如果你從未閱讀過某個(gè)基準(zhǔn)測試的記錄文本，那你就根本沒有真正理解這個(gè)基準(zhǔn)測試。一份真正奇怪行為的記錄文本教給你的東西，將比小數(shù)點(diǎn)后下一位的準(zhǔn)確率帶來的多得多。

有目的地漫游

你的第一個(gè)子領(lǐng)域只是一次時(shí)間的偶然，所以請?zhí)谷幻鎸?duì)這一事實(shí)。在決定你深耕的領(lǐng)域之前，花點(diǎn)真功夫去了解可解釋性、評(píng)估、RL 和系統(tǒng)方向。在這個(gè)領(lǐng)域里的某個(gè)角落，你特有的那種古怪會(huì)成為一種不公平的優(yōu)勢。找到這個(gè)角落的唯一方法是在幾個(gè)不同的地方交學(xué)費(fèi)。沒人能免交這筆學(xué)費(fèi)。

首先運(yùn)行每個(gè)想法的即用即拋版本，讓它們中的大多數(shù)早早夭折。極其嚴(yán)苛地調(diào)整你的基準(zhǔn)線。因?yàn)?ML 的墳?zāi)估餄M是那些在適當(dāng)調(diào)整的基準(zhǔn)線面前煙消云散的成果。而審稿人是你認(rèn)識(shí)到這一點(diǎn)的最糟糕人選。不斷進(jìn)行消融實(shí)驗(yàn)，直到你弄清楚究竟是哪個(gè)組件帶來了實(shí)驗(yàn)結(jié)果。起作用的通常只有一個(gè)組件。而且它往往并不是出現(xiàn)在標(biāo)題中的那個(gè)。

廣度也是一種保險(xiǎn)。所有的子領(lǐng)域都會(huì)飽和。這種情況通常發(fā)生在它們在推特上達(dá)到頂峰之后。那些能在這些過渡期繼續(xù)產(chǎn)出成果的人，正是那些早已經(jīng)熟悉鄰近領(lǐng)域情況的人。

找到你的同路人

漢明注意到，那些最終完成重要工作的人身上存在一種規(guī)律。辦公室門緊閉的同事在任何一年里都能完成更多的工作。而辦公室門敞開的同事則完成了那些真正重要的工作。因?yàn)椴粫r(shí)的打擾帶來了關(guān)于這個(gè)世界到底需要什么的信息。你的敞開之門可能是一個(gè)收件箱。請保持它的暢通。

在研究中，慷慨帶來的復(fù)利效應(yīng)是無與倫比的。復(fù)現(xiàn)一個(gè)結(jié)果并發(fā)表你的發(fā)現(xiàn)。發(fā)布你為自己構(gòu)建的工具。用平實(shí)的語言解釋一些復(fù)雜晦澀的事物。幾個(gè)月后，回報(bào)會(huì)以意想不到的方式到來。比如一次合作、一次引用，或者一個(gè)你原本無法申請到的職位。把你那些半成型的想法也公之于眾。因?yàn)樵跁r(shí)間線上犯錯(cuò)的成本，遠(yuǎn)比在正式出版物中犯錯(cuò)的成本要低。如果有一個(gè)合作者能在你為一個(gè)糟糕的想法投入 3 個(gè)月時(shí)間之前提醒你，那他的價(jià)值將勝過算力。

這種關(guān)系是買不到的，只能通過努力去贏得。

長期博弈

巴斯德說過，機(jī)會(huì)總是留給有準(zhǔn)備的頭腦。

法國科學(xué)家、微生物學(xué)之父路易·巴斯德（Louis Pasteur）

漢明在此基礎(chǔ)上建立了一整套職業(yè)哲學(xué)：知識(shí)和生產(chǎn)力像利息一樣產(chǎn)生復(fù)利。每天積累的優(yōu)勢孤立來看顯得微不足道。

你閱讀的內(nèi)容、你記錄的事物、你的循環(huán)運(yùn)行得多快，以及你與誰辯論。給這些習(xí)慣幾年的時(shí)間，它們會(huì)造就出外界看來如同純粹憑借運(yùn)氣的職業(yè)生涯。在你覺得有必要之前，盡早開始積累復(fù)利。

未來的你早已明白，這其實(shí)是成本最低的部分。