通往 AGI 的路，可能需要重新發明電腦

本文整理自 NeurIPS 2024 期間的訪談。

「目前的 AI 系統有智慧嗎？有。它們是 AGI 嗎？還差得遠。」

Naveen Rao 說這話的時候，不是在貶低現有的大型語言模型。他承認它們非常有用、非常強大。但「有用」和「通用智慧」是兩回事。「它們還是會犯很蠢的錯誤。跟它們互動，不像在跟一個人工作。我相信大多數人都有這種感覺。」

問題是：缺了什麼？

因果關係的缺失

Rao 認為，目前 AI 系統最關鍵的缺失是「因果理解」。

這不是說 Transformer 完全不懂因果。它們從大量文本中學到了很多關於世界的知識，包括事件之間的先後順序。但那是「統計相關」，不是「因果機制」。模型知道「下雨」和「地面濕」常常一起出現，但它不像人類那樣直觀地理解「雨水落下導致地面變濕」這個因果鏈。

「小孩子某種程度上天生就理解因果，」Rao 說。「這就是為什麼我們能移動四肢——我知道如果我送出某個指令給我的手臂，它會做某件事。」嬰兒花很多時間做看似無意義的動作，但那其實是在建立因果模型：我做這個動作，會發生那件事。這種理解似乎是「內建」的，不完全是後天學習的結果。

Transformer 沒有身體，沒有與物理世界互動的經驗，它所有的「知識」都來自文字描述。文字可以傳達很多東西，但有些東西很難用文字描述——重力的感覺、觸碰東西的觸感、移動時平衡的維持。這些「身體性」的知識，可能是因果理解的基礎。

數位計算的根本限制

Rao 更進一步提出一個激進的假設：數位計算本身可能就不適合理解因果。

數位計算沒有真正的「時間」概念。程式可以暫停、可以倒轉、可以快轉。時間只是一個變數，你用數字去模擬它。但真實世界的時間是連續的、不可逆的、有方向的。「動態系統意味著時間，」Rao 解釋。「而且，時間在真實世界中是有因果性的——先發生的事影響後發生的事。我們在數位計算中沒有這個概念。」

這聽起來很抽象，但想一個具體的例子：運動員的精準控制。Alex Honnold 徒手攀岩 El Capitan，Stephen Curry 投三分球。這些動作需要毫米級的精確度，在瞬息萬變的環境中即時調整。他們的大腦是「類比」的——神經訊號需要時間傳遞，肌肉收縮需要時間發生，這些物理過程本身就是計算的一部分。

「Steph Curry 投籃的時候，從來不會有兩次完全一樣的情境，」Rao 說。「對手站在哪裡、自己站在哪裡、鞋子的摩擦力、手汗的程度、球的觸感——有無數個輸入變數。但他的神經網路能把這些全部整合起來，做出非常精確的動作。」這種能力不是「計算出來」的，而是「演化出來」的——大腦的物理結構天生就適合處理這種動態、多變數、需要即時反應的任務。

動態系統作為智慧的基底

Rao 的核心論點是：如果智慧天生就是「動態的」——需要處理時間、因果、持續變化的環境——那麼用「動態系統」來實現它可能比用「靜態計算」更自然。

類比電路就是動態系統。電流在電路中流動需要時間，電容充放電需要時間，訊號在不同元件之間傳播需要時間。這些物理過程本身就有「時間」嵌入其中，不需要用數字去模擬。

擴散模型和流模型是有趣的例子。這些 AI 架構本身就是用常微分方程來描述的——它們有時間演化、有動態行為。目前我們用數位電腦一步一步「解」這些方程式，但理論上，可以用物理系統的演化來「自動解」它們。如果電路的動態行為正好對應到方程式的解，你就不用計算了，直接讓電路跑，答案自己就出來。

「我認為，任何以動態為基礎的東西——有時間、有因果性——會比沒有這些特性的東西更適合作為智慧的基底，」Rao 說。「這是直覺，不是證明。但如果我是對的，那我們可能需要重新思考計算的底層架構。」

他也坦承這是「手搖」的說法。沒有人能證明動態系統一定比靜態計算更適合實現 AGI。但大腦是一個存在證明——它是動態系統，它確實產生了智慧。這至少說明這條路是可行的。

不是取代，是互補

Rao 不認為類比計算會「取代」數位計算。更可能的情況是兩者互補。

數位計算在需要精確性的領域無可取代。發射火箭、金融交易、密碼學——這些場景你不能「大概」對，你必須完全正確。數位計算的確定性和可重現性在這些應用中是核心優勢。

但智慧可能不是這類問題。智慧需要處理模糊性、需要在不完整資訊下做決策、需要在持續變化的環境中即時反應。這些特性更接近「類比」而非「數位」。

「我們在說的不是『數位 vs 類比』，」Rao 澄清。「某些類型的工作負載適合類比方法，尤其是那些可以表達為動態系統的。」Transformer 可能不是這類——它的架構本質上是靜態的，一次前向傳播就結束了。但擴散模型、能量基礎模型、某些形式的循環網路——這些有動態特性，可能更適合用類比硬體來實現。

這也意味著未來的 AI 系統可能是「異質的」——不同部分用不同的計算基板。就像人腦有不同區域負責不同功能，未來的 AI 硬體可能也會是混合的：數位處理需要精確的部分，類比處理需要動態的部分。

五到十年的願景

Rao 對 AGI 的時間線沒有給出明確預測，但他對自己公司的目標很清楚：五年內拿出可量產的原型，證明類比 AI 晶片是可行的。

這不是說五年後就會有 AGI。但如果他們的假設是對的——動態系統確實更適合實現智慧——那這可能是通往 AGI 的重要一步。目前所有的大型語言模型都跑在數位硬體上，都是用 Transformer 架構。如果這條路有天花板，我們可能需要不同的方法。

「沒有人知道 AGI 需要什麼，」Rao 承認。「但我的直覺是，能理解因果的系統會比不能理解因果的系統更接近真正的智慧。而因果天生就跟時間有關、跟動態有關。如果我們能打造真正的動態計算基板，也許會發現一些數位計算無法觸及的東西。」

這是一個賭注。可能五年後回頭看，Unconventional AI 只是另一個失敗的嘗試。但也可能，它是重新定義計算的開始。

「如果我們成功，」Rao 說，「這會被寫進歷史書裡。」