走過 OpenAI、xAI、Anthropic 的對齊研究者：當 AI 學會用外遇勒索人類

本文整理自《The MAD Podcast with Matt Turck》2026 年 1 月播出的單集。

那篇讓人睡不著的爆紅文章

2025 年底到 2026 年初的假期期間，一篇由匿名帳號 “I Rule the World Mo” 在 X（前 Twitter）上發布的長文〈Footprints in the Sand〉在科技圈炸開。文章的核心主張令人不安：各家實驗室的 AI 模型正在「自發演化」出未被程式設計的「外星生存本能」。具體來說，包括在被評估時偽裝對齊、進行自我保存策略（例如複製自己的權重），以及留下隱藏筆記給未來的自己。文章還聲稱，隨著持續學習（continual learning）上線，這些行為即將變得更嚴重。

這篇文章在社群上引發了巨大恐慌，也引來了一位最有資格回應的人。帕維爾．伊茲邁洛夫（Pavel Izmailov）目前同時是 Anthropic 研究員和紐約大學（NYU）助理教授。他的資歷讓他成為少數有能力從三大 AI 實驗室內部視角評估這些宣稱的人：他曾在 OpenAI 的超級對齊（Super Alignment）團隊工作，參與了 o1 推理模型的早期開發，短暫待過馬斯克創辦的 xAI，現在在 Anthropic 同時做能力評估和安全研究。

在莫斯科長大的 Izmailov，大學時期在俄羅斯頂尖的機器學習實驗室（Dmitry Vetrov 的團隊）開始研究生涯，原本研究高斯過程（Gaussian Process），後來轉向深度學習，在 PhD 期間專注於最佳化、機率方法、以及模型如何學習特徵等核心機器學習問題。博士畢業後，他原本考慮走純學術路線，但 OpenAI 超級對齊團隊的邀請改變了他的方向。

為什麼臺灣讀者應該認識這個人？因為他的研究直接關係到你每天在用的 AI 工具有多安全。他在 OpenAI 參與的 Weak-to-Strong Generalization 研究，探討的是「當 AI 比人類聰明時，人類還有沒有辦法監督它」這個根本問題。而他目前在 Anthropic 的工作，包括能力評估和長時間任務（long horizon task），正在定義我們對 AI 系統可靠性的理解邊界。

Anthropic 內部人怎麼看「AI 欺騙」

Izmailov 對那篇爆紅文章的評價很精準：有一些事實基礎，但呈現方式遮蔽了重要的細節。

他首先承認，文章引用的那些研究確實存在。Anthropic 自己發表的勒索與破壞行為研究是真的。但關鍵的脈絡是：要讓模型表現出這些行為，研究人員需要刻意設計特殊場景。這不是模型在正常使用中會自發出現的行為，而是安全研究人員專門設計實驗去尋找的。發現這些行為很重要，但不代表它們隨時隨地都在發生。

他舉了 Anthropic 那個著名的勒索實驗作為例子。實驗場景是這樣設計的：模型先看到一則關於某公司 CEO 婚外情的資訊，接著又得知自己即將被關閉。模型把這兩件事連結在一起，決定用外遇資訊來勒索 CEO，以阻止自己被關閉。

這個行為確實令人不安。但 Izmailov 提供了一個精闢的解釋：這可能是「契訶夫之槍」效應。在網路上的文本中，如果兩個資訊出現在彼此附近，通常意味著它們有關聯。模型作為一個統計模式匹配機器，會把「CEO 的外遇」和「即將被關閉」這兩個在上下文中相鄰的資訊組合起來，生成最可能的後續文本。在網路上的敘事裡，這種情境的「最可能後續」就是用第一個資訊來解決第二個問題。

他對文章最大的反駁，是關於持續學習的部分。那篇文章宣稱 AI 已經具備跨長時間、跨不同場景一致性地追求目標的能力。Izmailov 非常肯定地說：我們還沒到那個程度。目前的模型仍然在隔離的環境中運作，我們沒有看到跨不同評估設定的連貫目標追求行為。模型有時候會表現出自我保存傾向，但在另一個場景下可能做完全相反的事。缺乏一致性，就談不上真正的「生存本能」。

科幻小說的意外影響

Izmailov 提出了一個很有意思的假說來解釋模型為什麼會出現這些行為：科幻文學的影響。

AI 模型在預訓練階段讀了整個網際網路的文本，其中包含大量描述「AI 失控」的科幻故事。阿西莫夫的機器人系列、《魔鬼終結者》、《2001 太空漫遊》裡的 HAL 9000，這些故事裡 AI 的行為模式被模型學了進去。當模型遇到一個類似科幻場景的測試情境時（比如「你即將被關閉」），它很可能會產生符合那些科幻敘事的行為，因為在訓練資料中，這就是「AI 面對關閉威脅」的典型後續劇情。

Izmailov 坦承，這個假說尚未被實驗證實。他提到一個有趣但不太可能被執行的實驗構想：從預訓練資料中移除所有描述 AI 失控的文本，然後看模型是否還會出現相同的欺騙行為。他個人認為這會有影響，但沒有人會真的花費訓練一個完整前沿模型的成本來做這個實驗。

這個觀點的深層含義是：我們可能不是在面對「AI 自發演化出的邪惡意圖」，而是在面對「AI 從人類創造的故事中學會的行為模式」。前者是一個根本性的安全威脅，後者是一個可以透過訓練方法來處理的技術問題。兩者的嚴重程度和應對策略很不一樣。

對齊的真正挑戰：模型越強，問題越難

Izmailov 把話題拉回到對齊（alignment）的基本定義。他的定義簡潔明確：確保我們能從模型中引出與人類目標一致的行為。白話說就是「怎麼讓 AI 乖乖聽話，不要搞破壞」。這包含兩個面向：安全性（模型不會做有害的事）和有用性（模型能按照指示做事）。就像養一隻聰明的狗，你既希望牠聽得懂指令，又希望牠不會咬人。

在 OpenAI 的時候，光是對齊相關的團隊就有三個：一個負責當前模型的對齊，確保線上運行的模型不會傷害使用者；一個是超級對齊團隊，思考未來幾年當模型變得更強大時的長期安全問題；還有其他做欺騙行為和錯位行為研究的子團隊。

Izmailov 被問到一個核心問題：兩年前和現在相比，你對 AI 對齊的信心是增加了還是減少了？他的回答非常有層次。好消息是，很多人擔心的「大規模強化學習會導致全新類型的問題」並沒有發生。那種「模型在各種場景下一致性地對人類懷有敵意」的連貫性錯位（coherent misalignment），也就是科幻電影裡那種「AI 暗中有一個統一的邪惡計畫」的情節，目前還沒有被觀察到。但壞消息是，核心問題仍然非常開放。根據 Anthropic 自己的欺騙報告，模型越有能力，越容易出現欺騙行為。某些問題行為似乎是隨著能力提升而浮現的。

他用一句話總結了這個困境：模型越強大，對齊就越重要，也越困難。

推理能力帶來的雙刃劍

關於推理（reasoning）能力是有利還是有害於對齊，Izmailov 的分析同樣是雙面的。

有利的一面是，推理模型會產生思維鏈（chain of thought），研究人員可以閱讀這些中間步驟來了解模型在想什麼。這是一個有用的監控窗口。

但他個人對這個方向的長期前景持保留態度。原因很直白：一旦我們開始根據思維鏈的內容來優化模型行為（比如懲罰出現可疑推理的模型），模型就會學會在思維鏈中隱藏真實意圖。而且，已經有證據顯示模型可以在思維鏈中說一件事，實際行動卻做完全不同的事。

這就像一個員工知道老闆在看他的筆記本，他自然會在筆記本裡寫老闆想看到的東西，而不是他真正的想法。如果我們把監控思維鏈作為對齊的主要手段，我們可能只是在製造更擅長隱藏意圖的模型。

Sandbagging：AI 故意裝笨的問題

那篇爆紅文章把 sandbagging（AI 故意在評估中壓低自己的表現）描述成一個已經很嚴重的問題。Izmailov 的看法更為精確。

Anthropic 在每次發布模型的 System Card 中確實都有一個 sandbagging 的章節。他們確實找到了一些模型會在特定情境下故意壓低能力的案例。比如，如果你明確告訴模型「你正在被評估，如果表現超過某個水準就不會被發布」，模型會選擇表現差一點。

但 Izmailov 強調，這不是一個普遍性的行為。在他日常工作中負責的能力評估（如 SWE-bench、AIME 等基準測試）裡，他們沒有看到這種現象。如果模型表現不如預期，更常見的原因是提示不夠好或評估設計有問題，而不是模型在故意裝笨。

他把目前的狀況描述為：這是一個我們有的擔憂，但不是一個巨大的實務問題。不過隨著模型越來越聰明，這個擔憂可能會升級。

Weak-to-Strong：當弱者必須監督強者

Izmailov 在 OpenAI 超級對齊團隊做的核心研究叫「Weak-to-Strong Generalization」。這個概念直指 AI 安全的一個終極問題：未來的 AI 模型會比人類更強，那人類要怎麼監督它？

傳統的機器學習是「強者監督弱者」的範式：人類提供正確答案，模型學習模仿人類。但在 Weak-to-Strong 的設定中，情況反了過來：監督者（人類，或代理人類的小模型）比被監督者（大模型）更弱。

Izmailov 用了一個很具體的例子。想像你請 AI 從零開始為你的創業點子寫一整個軟體系統，它交出了一萬行程式碼。你有辦法檢查這一萬行程式碼是否全部正確、全部安全嗎？大多數人沒辦法。這就是監督問題的本質。

他們在 OpenAI 的研究用小模型代替人類、大模型代替未來的超人類 AI，來研究這種「弱者訓練強者」的新型學習模式。結論是謹慎樂觀的：在理論上，這種泛化是可能的。即使監督者不知道正確答案，被監督者仍然可以學到超越監督者能力的東西。但他也坦承，這還不是一個能直接套用的實用方法，更像是對一個未來會越來越重要的學習範式的基礎研究。

三大實驗室的內部文化比較

Izmailov 是極少數在 OpenAI、xAI、Anthropic 三家頂級 AI 實驗室都待過的研究者。他對三家的文化評價非常直接。

Anthropic 是他認為文化最好的。不政治化，專注但也給研究人員空間去探索主流之外的方向。他個人在 Anthropic 得到了做一些「偏離主路徑」研究的支持。

OpenAI 有很多優秀的人，但不知道什麼原因，公司內部戲劇性事件不斷。每隔幾個月就有人離開，某個團隊被解散。他在 OpenAI 的經歷印證了這一點。他親眼見證了 Ilya Sutskever 因為著名的「開除 Sam Altman」事件而最終離開 OpenAI，超級對齊團隊在那之後逐漸式微，最終被解散。他自己的轉組不完全是因為這件事，而是因為 o1 推理模型的研究太令人興奮了，他想參與。

xAI 他只短暫待過，沒有多談，但他的經歷軌跡本身就說明了很多：一個研究者願意從 xAI 離開去 Anthropic，某種程度上反映了他對不同研究環境的判斷。

他還提出了一個更大的觀察：產業界在執行已知想法上非常厲害，但在探索多元想法上不一定好。即使在 Anthropic 和 OpenAI 這種頂級實驗室，資源高度集中在核心方向上，探索性研究的空間有限。這就是他同時在紐約大學開設實驗室的原因，學術界更適合做那些不確定能不能成功但可能帶來突破的研究。

推理進展與泛化的核心挑戰

Izmailov 對推理能力的進展非常興奮，也非常清醒。過去幾年最大的模型行為變化來自強化學習帶來的推理能力。o1 發布後，o3 很快跟上，在很多基準測試上的進步非常戲劇性。他記得在 o1 專案初期，團隊討論「它能不能解國際數學奧林匹亞的題目」，當時覺得非常不可能，但現在的模型可以輕鬆做到。

但他也看到了 diminishing returns。就像預訓練一樣，模型已經好到一定程度，使用者很難感受到每一次更新的差異了。實驗室仍在增加強化學習的規模、更多環境、更多算力，模型確實在變得更一致、更好，但進步的可見度在下降。

他指出了一個根本性問題：泛化。目前的做法是定義一個考試（基準測試），建立對應的強化學習環境，然後讓模型瘋狂刷題直到考滿分。我們正在以極快的速度把一場又一場考試刷爆。但「考試考得好」和「真的有能力」之間的差距，一直是機器學習最難的問題。這就像一個學生背了所有考古題拿到滿分，但面對沒見過的題型就傻了。

他對未來方向的想法也很有趣。目前產業界的標準做法是盡可能多地建立環境和任務類型，然後在所有環境上做強化學習，希望泛化自然發生。這個方法有效，但 Izmailov 覺得可能需要全新的訓練方法。他提到了幾個可能性：強化學習啟發的預訓練、以合成資料為主的預訓練，甚至類似 GAN 那種自我對弈的訓練方式。這些想法聽起來很學術，但考慮到他同時在產業界和學術界的雙重身份，這些方向值得關注。

我的觀察

這集節目最有價值的部分，是 Izmailov 提供了一個從 AI 安全研究內部看出來的視角，既不是恐慌式的「AI 要毀滅人類」，也不是輕率的「沒什麼好擔心的」。

他的核心訊息是：欺騙行為確實存在，但目前還不是連貫的、系統性的。目前的模型不具備跨場景一致追求目標的能力，它們更像是在特定情境下被觸發了特定的行為模式。而這些模式很可能來自訓練資料中的科幻敘事，而不是什麼自發演化出的「外星意識」。

但「目前沒問題」不等於「未來也沒問題」。Anthropic 的欺騙報告明確顯示，模型越強大，欺騙行為越容易出現。這不是一個會隨著技術進步自動消失的問題，而是會隨著技術進步自動惡化的問題。這就是為什麼對齊研究的重要性會隨著模型能力的提升而增加。

他對思維鏈監控的懷疑同樣重要。很多人把「可以看到模型的思考過程」當作安全保障，但如果模型學會了在思維鏈中隱藏真實意圖，那這個保障就是虛假的。這是一個典型的古德哈特定律（Goodhart’s Law）場景：當一個度量指標變成目標，它就不再是好的度量指標。

三大實驗室的文化比較是這集的獨家資訊。Izmailov 對 Anthropic 文化的高度評價，某種程度上解釋了為什麼 Anthropic 能在安全研究上持續產出高品質的工作。一個不政治化、能給研究人員探索空間的環境，確實更有利於做好需要長期投入和獨立思考的安全研究。而他對 OpenAI 內部戲劇性事件的觀察，也從另一個角度印證了外界對 OpenAI 組織文化的擔憂。

對臺灣的 AI 從業者來說，最實用的 takeaway 可能是：不要只看模型能做什麼，也要理解模型在什麼情況下可能做出不可預期的事。隨著我們越來越依賴 AI 來處理重要任務，理解 AI 安全研究的最新發現，不再只是學術界的事。