Ilya Sutskever：我們正從 Scaling 時代，進入研究時代

本文整理自 Dwarkesh Podcast 2024 年 12 月播出的單集。

「2012 到 2020 年，是研究時代。2020 到 2025 年，是 Scaling 時代。現在，我們又回到研究時代了——只是電腦變大了。」

這是 Ilya Sutskever 在離開 OpenAI 後首次深度訪談中說的話。Ilya 是深度學習革命的核心人物之一，從 AlexNet 到 GPT-3，他參與了幾乎所有重要的突破。他現在創辦了 SSI（Safe Superintelligence Inc.），專注於超級智慧的研究。

當這樣一個人說「Scaling 時代結束了」，值得認真聽。

Scaling 為什麼曾經如此成功？

過去五年，AI 產業有一個簡單到不可思議的公式：拿更多資料、用更大的模型、砸更多算力，效能就會變好。這就是所謂的 Scaling Laws。

Ilya 說，這個公式之所以強大，是因為它給了公司一個低風險的投資方向。你不需要賭在某個研究突破上，只需要確保資源到位，就能預測結果。「公司喜歡這個，因為它讓投資變得可預測。比起讓研究員去闖、去發現新東西，『拿更多資料、拿更多算力』簡單太多了。」

Pre-training 的美妙之處在於，你不需要思考該用什麼資料——答案就是「全部」。所有網路上的文字、所有能找到的資料，通通餵進去。這種暴力美學確實有效，而且有效了好幾年。

為什麼 Scaling 走到了盡頭？

但問題來了。資料是有限的。網路上的高品質文字已經被用得差不多了。

更根本的問題是：就算你有 100 倍的算力，真的會發生質變嗎？

Ilya 的答案是：不會。「現在規模已經很大了。如果你相信『只要再 100 倍，一切都會不一樣』——我不認為這是對的。會有改善，但不會是質變。」

這是一個重要的轉折。過去幾年，AI 產業的故事是「只要繼續 Scale」。現在，這個故事不再成立。

他指出，目前各大公司其實都在做差不多的事情。「我們現在處於一個公司比想法多的世界。」這句話很尖銳，但可能是真的。當 Scaling 是唯一的遊戲時，所有人都在玩同一個遊戲。

研究時代回歸意味著什麼？

Ilya 把這個轉變類比為歷史。2012 年之前，AI 研究者在黑暗中摸索，嘗試各種可能。AlexNet 只用了兩張 GPU。Transformer 的原始論文，最大的實驗也只用了 64 張 2017 年的 GPU——換算成今天，大概等於兩張。

這些突破不是靠規模，而是靠想法。

現在，我們可能又回到了那個階段。差別是，這次研究者手上有巨大的算力可以用。但算力本身不是答案，它只是讓你能更快驗證想法。

Ilya 認為，真正的突破會來自於理解一些根本問題：為什麼模型的泛化能力這麼差？為什麼人類用少量資料就能學會新技能，模型卻不行？這些問題沒有靠 Scaling 解決，也不會靠 Scaling 解決。

這對我們意味著什麼？

對投資人來說，這意味著「誰有最多 GPU」不再是唯一的護城河。研究能力、想法品質、團隊的創造力，這些難以量化的東西會變得更重要。

對創業者來說，這可能是好消息。如果競爭的關鍵是想法而不是資源，小團隊就有機會。Ilya 提到，SSI 雖然只募了 30 億美元（遠少於 OpenAI 或 Anthropic），但用於研究的比例可能不輸大公司，因為大公司的資源大量用於推論和產品開發。

對從業者來說，這意味著不能只是會用工具，還要理解背後的原理。當產業進入探索階段，能提出好問題的人會比只會執行的人更有價值。

Ilya 在訪談中反覆強調一個觀點：目前的方法會繼續改進，但不會是「它」——那個真正的突破還沒出現。這既是警告，也是機會。

Scaling 時代教會我們，正確的方法可以帶來巨大的進步。研究時代回歸，意味著下一個正確的方法還在等待被發現。