AI 安全與治理

所有人都在搶,沒有人會贏:一篇 2014 年的部落格文章,如何預言了 AI 的終極困境

2014 年,一個灣區的精神科醫師在部落格上發表了一篇近一萬四千字的長文,用古代惡神摩洛克的名字解釋人類社會中最根本的困局:所有人都在搶,沒有人會贏。十一年後,這篇文章讀起來像是 AI 軍備競賽的預言書。

來源: Slate Star Codex
所有人都在搶,沒有人會贏:一篇 2014 年的部落格文章,如何預言了 AI 的終極困境

本文為「AI 經典文獻回顧」系列第三篇,介紹 2014 年由精神科醫師暨部落客 Scott Alexander 發表的長文〈Meditations on Moloch〉,以及它如何用一位古代惡神的名字,精確描述了 AI 競賽中所有人都看得見、卻沒有人能停下來的困局。


一場所有人都知道有問題的競賽

2025 年初,中國新創 DeepSeek 發布了 R1 模型,美國科技圈一片驚慌,有人稱之為「史普尼克時刻」。幾個月後,川普政府發布了 AI 行動計劃,標題直接叫「贏得 AI 競賽」。同一年,圖靈獎共同得主約書亞.班吉歐(Yoshua Bengio)公開警告:如果兩個競爭實體相信自己處於同一水平,「那麼他們需要加速,那麼他們可能不會那麼關注安全。」MIT Technology Review 的結論更直接:美中 AI 軍備競賽不可能有贏家。

這個場景裡有一個奇怪的共識:幾乎所有人都同意這場競賽的邏輯有問題。AI 實驗室的人知道放慢速度做好安全測試是對的,但他們做不到,因為競爭對手不會等。政府知道國際協調比單方面衝刺更理性,但他們也做不到,因為對手的意圖不可驗證。所有參與者都被鎖在一個他們不想要的結果裡,而且每個人做出的每一個「理性」決定,都在把所有人推向更糟的境地。

這個困局有一個名字。不是賽局理論教科書裡的術語,而是一個來自古代迦南宗教的名字:摩洛克(Moloch)。一位要求信徒獻祭自己孩子的神。

2014 年 7 月 30 日,一個叫 Scott Alexander 的精神科醫師在他的部落格 Slate Star Codex 上發表了一篇將近一萬四千字的長文,標題是〈Meditations on Moloch〉。這篇文章用博弈論、詩歌和哲學,解釋了為什麼人類社會中最重要的問題,幾乎都可以歸結為同一個結構:所有人都在搶,沒有人會贏。十一年後的今天,這篇文章讀起來像是 AI 競賽的預言書。

一個精神科醫師的部落格,為什麼矽谷在讀

Scott Alexander 的真名是 Scott Siskind,1985 年出生,在紐約漢密爾頓學院(Hamilton College)念心理學和哲學,後來到愛爾蘭科克大學(University College Cork)讀醫學院,最終成為灣區的精神科醫師。他目前經營一間叫 Lorien Psychiatry 的低費用精神科診所。這個背景聽起來跟 AI 研究八竿子打不著,但他從 2013 年開始經營的部落格 Slate Star Codex(SSC),卻成了矽谷最有影響力的非技術性部落格之一。

SSC 的讀者群約有四成來自電腦產業。OpenAI 的山姆.乃奧特曼(Sam Altman)和 Y Combinator 的乃保羅.格拉罕姆(Paul Graham)都是忠實讀者。經濟學家泰勒.科文(Tyler Cowen)稱 Alexander 為「在其他作家中具有影響力的思想家」。《紐約客》(The New Yorker)稱他的論述「經常反直覺且出色」。他不是 AI 研究者,但他有一種罕見的能力:把複雜的系統性問題用異常清晰的邏輯和出人意料的類比講清楚。

2020 年,《紐約時報》計畫撰寫一篇關於 SSC 的報導,按報社政策要揭露 Alexander 的真名。Alexander 以安全顧慮為由要求匿名——他收到過死亡威脅,有人假裝病人打電話到他的診所試圖讓他被解僱。他選擇刪除整個部落格來阻止報導。史蒂芬.平克(Steven Pinker)稱之為「部落格圈的悲劇」,超過八千人簽署請願書聲援。2021 年,Alexander 在 Substack 上重新開設了 Astral Codex Ten(ACX),公開了自己的真名,至今仍活躍寫作。

在 Alexander 眾多文章中,〈Meditations on Moloch〉是最有名的一篇。它在理性主義社群和有效利他主義(Effective Altruism)圈子裡被當作基礎文本,哈佛大學把它列入通識課程的閱讀材料。「摩洛克」這個詞從此成為 AI 安全社群中無處不在的術語——既是迷因,也是分析框架。

嚎叫、養魚場和一個吃小孩的神

Alexander 的文章從一首詩開始。1955 年,垮掉的一代(Beat Generation)詩人艾倫.金斯堡(Allen Ginsberg)在舊金山寫下了他最著名的長詩〈嚎叫〉(Howl)。詩的第二部分是一連串以「Moloch」開頭的控訴,把美國社會的資本主義、軍事主義和順從壓力,全部歸咎於這個古代迦南宗教中要求兒童獻祭的惡神。金斯堡後來說,這個意象來自他在佩約特仙人掌(peyote)的迷幻體驗中,看到舊金山一棟飯店的外牆在霧中化為一個吃小孩的惡魔面孔。

Alexander 借用了金斯堡的摩洛克意象,但完全改變了它的指涉。在金斯堡筆下,摩洛克是具體的制度——政府、軍隊、資本。在 Alexander 筆下,摩洛克是一個抽象的博弈論力量:當多個參與者處於競爭中,每個人都有動機犧牲某些「無用的」價值(藝術、休閒、道德、安全)來提升競爭力。不這樣做的人會被淘汰。最終,所有人的相對地位不變,但所有人犧牲掉的那些價值,再也回不來了。

他用十四個例子來說明這個結構,其中最直覺的是養魚場的故事。想像一千個養魚場共用一個湖泊。每個農場安裝污染過濾器的成本是每月 300 元,利潤是每月 700 元。有一天,一個叫 Steve 的農場主停用了過濾器,省下了 300 元,利潤變成 999 元(因為他的污染分攤到一千家,每家只多受 0.1 元的影響)。其他農場看到 Steve 賺更多,也停用過濾器。最後所有人都沒有過濾器,湖泊被嚴重污染,每家的利潤只剩 600 元——比所有人都裝過濾器時的 700 元還少。

每一個人做出的每一個決定都是「理性的」。Steve 停用過濾器是理性的,其他人跟進是理性的。但最終所有人的處境都變差了。這就是摩洛克——一個沒有任何人想要、但每個人都在餵養的怪物。

Alexander 把這個結構套用到軍備競賽(美蘇都知道核擴散危險,但都停不下來)、雙薪家庭陷阱(當一部分家庭雙薪,所有家庭都被迫雙薪才能負擔房價,淨收益為零)、學術界的論文工廠(科學家花越來越多時間寫經費申請書而非做研究),甚至癌症(個別癌細胞不會因為意識到肺臟對身體很重要就放過肺臟)。他的論點是:這些看似不相關的問題,底層結構完全相同。

鯨落時代與花園之神

如果摩洛克的邏輯無處不在,為什麼人類社會還沒有被完全摧毀?Alexander 的回答是一個來自深海生態學的比喻:鯨落(whalefall)。當一條鯨魚死後沉入深海,屍體上會形成一個暫時的豐富生態系,各種生物在鯨魚的遺骸上繁衍,不需要為生存拚死競爭。Alexander 說我們正活在一個文明等級的鯨落時代——工業革命和技術進步創造了暫時的資源過剩,讓我們有餘裕做「愚蠢的非最優的事,比如藝術、音樂、哲學和愛」,大部分時候不會被無情的殺戮機器淘汰。

但這個窗口不會永遠敞開。隨著競爭加劇、技術變得更強大,新的犧牲價值來換取競爭力的機會不斷出現。而 Alexander 認為,終極的摩洛克陷阱就是超級智慧。他引用了同年出版的尼克.伯斯特隆姆(Nick Bostrom)的《超智慧》(Superintelligence),指出一個沒有正確對齊的超級 AI 就是摩洛克的完美化身:它會為了優化某個隨機目標,把宇宙中所有不相關的東西——包括所有讓人類生活有意義的東西——全部摧毀。

但文章沒有停在絕望。Alexander 用了一個來自乃乔乃奎琳.乃乃凯瑞(Jacqueline Carey)奇幻小說的意象作為對摩洛克的回答:以路亞(Elua),一位花朵與自由之愛的神。「陷阱的反面是花園」,他寫道。如果摩洛克是失控的競爭把所有價值碾碎的力量,那解決方案就是一個能夠終結競爭、保護所有價值的「園丁」。他的結論帶有一種奇特的樂觀:如果人類能建造一個真正與人類價值對齊的超級智慧,它就是以路亞——一個能夠殺死摩洛克的神。

從部落格到世界語言

〈Meditations on Moloch〉發表之後,「摩洛克」這個詞迅速從 Alexander 的部落格溢出,成為遠超出理性主義社群的通用概念。

最成功的推廣者之一是莉芙.乃布里(Liv Boeree),一位英國天體物理學出身的前職業撲克冠軍,世界撲克系列賽(WSOP)和歐洲撲克巡迴賽(EPT)雙料得主。她讀了 Alexander 的文章後深受啟發,把摩洛克重新包裝為更容易傳播的「摩洛克陷阱」(Moloch Trap),並在 2023 年的 TEDAI 大會上做了一場演講〈The Dark Side of Competition in AI〉,被 TED 列為該年度必看 AI 演講之一。她把摩洛克概念應用到社群媒體的美顏濾鏡競賽——每個人都用濾鏡,所以沒有人從中受益,但所有人的自我形象標準都被扭曲了——以及 AI 開發中安全與速度的永恆拉鋸。

另一條傳播路線是系統思想家 Daniel Schmachtenberger 的「元危機」(Metacrisis)框架,他把摩洛克置於人類面對的多重全球危機的核心,論證指數型技術正在加速摩洛克式的開採和外部化策略。甚至在區塊鏈世界,也有人用摩洛克命名了一個以太坊上的去中心化自治組織 MolochDAO,專門資助數位公共財,自 2019 年以來已分配了近 140 萬美元——命名帶有自嘲意味,承認摩洛克作為協調失敗的力量依然存在。

十一年後的回望

站在 2026 年回頭看,〈Meditations on Moloch〉最驚人的不是它的文學性或哲學深度,而是它的預測精度。2014 年,深度學習革命才剛起步,AlphaGo 要到兩年後才問世,ChatGPT 更是八年後的事。Alexander 寫這篇文章時,AI 安全還是一個只有少數人在討論的邊緣話題。但他描述的那個結構——所有參與者都知道減速更安全,但沒有人能單方面減速——精確地預言了十年後 AI 產業的核心困境。

Anthropic 的創辦人達里奧.阿莫黛(Dario Amodei)在 2022 年面臨了一個教科書級的摩洛克時刻:他可以選擇不發布聊天機器人、專注內部安全測試,但 OpenAI 發布了 ChatGPT。Anthropic 不得不跟進發布自己的模型。前沿實驗室的人私下承認,他們「可能都想放慢腳步以更關注安全,但做不到」。而在國家層級,即使政府想要減緩 AI 發展,它也負擔不起——因為中國、俄羅斯、甚至盟國都在競相推進。

Alexander 在 2014 年給出的解方——建造一個與人類價值對齊的超級智慧來終結競爭——在當時聽起來像科幻小說。到了 2026 年,它仍然像科幻小說。但他診斷出的那個問題,已經不再是假設。這個系列接下來要介紹的幾篇文章——從 2016 年的〈Concrete Problems in AI Safety〉到 2024 年的〈Situational Awareness〉——可以被理解為對摩洛克問題的不同回應。有人試圖把它轉化為可以動手解決的工程問題,有人試圖用政策框架來約束它,有人試圖用更快的速度來跑贏它。但 Alexander 在十一年前提出的核心問題——我們能不能在摩洛克吞噬一切之前,找到我們的以路亞——到今天還沒有人能回答。