Epiplexity：當你的運算能力決定你看到的世界，一個顛覆資訊理論的新概念

本文整理自《The MAD Podcast with Matt Turck》2026 年 1 月播出的單集。

一個剛出爐的新詞

在 Podcast 錄製當天，Anthropic 研究員暨紐約大學（NYU）助理教授帕維爾．伊茲邁洛夫（Pavel Izmailov）剛剛發表了一篇和合作者共同撰寫的論文，引入了一個全新的詞彙：Epiplexity。主持人 Matt Turck 直接指出，這不只是一篇論文，他們還順帶發明了一個新的英文單詞。

論文的共同作者陣容很有看頭。主要作者 Mark Finzi 目前在 OpenAI 負責合成資料相關的工作，他和 Izmailov 是 PhD 同窗。他們的博士導師 Andrew Wilson 也是共同作者。此外還有幾位研究生，以及卡內基美隆大學（CMU）教授、同時也是 OpenAI 董事會成員的 Zico Kolter。這個作者組合橫跨了 Anthropic、OpenAI、CMU 和 NYU，在 AI 安全和機器學習理論領域都有深厚根基。

那 Epiplexity 到底在講什麼？這需要從一個看似簡單但其實很深刻的觀察說起。

同一筆資料，不同的觀察者看到不同的東西

Epiplexity 的核心概念是：資料中有多少「資訊」，取決於觀察者有多少運算能力。

想像一個複雜的資料生成過程產生了一批資料。一個擁有巨大運算能力的觀察者可以完全理解這批資料的每一個面向，看出所有隱藏的模式和結構。但一個運算能力較弱的觀察者，會覺得其中有些部分看起來像是隨機雜訊，因為它沒有足夠的算力去發現那些深層模式。

這聽起來可能很直覺，但它挑戰了資訊理論的一些核心假設。

Izmailov 解釋，傳統的夏農資訊（Shannon Information）和柯莫哥洛夫複雜度（Kolmogorov Complexity）是資訊科學裡兩把最經典的「尺」，用來量一段資料裡有多少資訊含量。但它們有一個共同的特性：如果你對資料做任何確定性的轉換（deterministic transformation），資訊量不會增加。就像你把一鍋湯過濾、攪拌、重新裝碗，不管怎麼處理，湯裡的營養成分不會因此變多。你從某個量的資訊開始，經過確定性的轉換後，得到的資訊量相同或更少，不可能更多。

這個性質聽起來很合理，但它導致了一個在 AI 訓練領域很普遍的錯誤直覺：既然確定性轉換不能創造新資訊，那對訓練資料做確定性的變換（比如改寫、翻譯、摘要等）就不能真正增加資料的有效量。換句話說，合成資料不可能包含比原始資料更多的資訊。

AlphaZero 的悖論

Izmailov 用 AlphaZero 來說明為什麼上面那個直覺是錯的。

AlphaZero 是 DeepMind 開發的系統，它從零開始，只知道棋盤遊戲的規則，沒有任何人類棋譜資料，純粹透過自我對弈來學習。從夏農資訊理論或柯莫哥洛夫複雜度的角度看，AlphaZero 的自我對弈是一個確定性計算過程（或至少是規則確定的隨機過程）。照理說，它不應該創造出超越遊戲規則本身的資訊量。

但實際上，AlphaZero 學到了遠超遊戲規則的東西。它學到了策略、布局、開局理論、殘局技巧，這些都是從簡單的規則中「湧現」出來的結構。一個擁有無限運算能力的理論觀察者，可以直接從遊戲規則推導出所有最佳策略，不需要 AlphaZero 的自我對弈。但 AlphaZero 作為一個運算能力有限的系統，從自我對弈產生的資料中學到了它無法直接從規則中推導出的模式。

這就是 Epiplexity 要捕捉的東西：對一個運算受限的觀察者來說，確定性的計算過程確實可以「創造」結構性資訊。不是真的從無中生有，而是像把一本寫滿微積分證明的數學教科書，改寫成用大量具體例題來教的通俗版本。原書和改寫版包含的「數學真理」沒有增加，但對一個看不懂抽象證明的學生（運算受限的模型）來說，改寫版讓他能實際學到東西。

更少的運算反而看到更多？

Izmailov 提到了一個反直覺的發現：在某些情況下，運算能力較少的觀察者反而能看到更多的結構。

這聽起來矛盾，但想想這個類比：一個用低解析度相機拍的照片，可能因為自動模糊了細節，反而讓整體的大結構更清晰。超高解析度相機反而可能讓你被大量細節淹沒，看不到整體模式。類似的效應可能發生在模型學習資料時。一個較小的模型因為「看不到」某些高頻雜訊，可能反而更容易抓住資料中的低頻結構。

Izmailov 說他們已經能實際測量 Epiplexity。雖然精確測量很困難（這是一個理論定義，論文中證明了它的數學性質），但可以從 scaling law（模型越大效能越好的經驗規律）來近似估算。比如，他們發現文字資料的結構性資訊量（按 Epiplexity 衡量）比同等 token 數量的影像資料更高。這解釋了為什麼語言模型在相同的資料量和算力下，通常能學到比影像模型更多的東西。

合成資料的理論缺口被補上了

Izmailov 認為 Epiplexity 的主要影響是概念性的，而不是直接的實用工具。但這個概念性影響可能很大，尤其是在合成資料領域。

現在所有的大型語言模型都面臨一個問題：網際網路上的高品質文本資料即將用完。下一步怎麼辦？一個思路是用程式生成合成資料。你可以定義任意的程式來產生無限量的資料。但問題是：哪些程式有用？為什麼有些合成資料能幫助模型學習，有些不行？

傳統的資訊理論告訴你，確定性程式不能創造新資訊，所以合成資料在理論上不應該有幫助。但 Epiplexity 提供了一個不同的框架：對於運算受限的模型來說，精心設計的確定性生成過程確實可以產生模型能學習的新結構。關鍵在於找到那些能把隱含結構轉化為模型可學習形式的程式。

Izmailov 對這個方向非常感興趣。他提到，搞清楚「哪些程式有用、為什麼有用」可能是合成資料研究中最重要的問題之一。Epiplexity 提供了一個理論框架來思考這個問題，即使它還不能直接告訴你該用哪個程式。

超越當前 AI 訓練的更大圖景

在節目的最後，Izmailov 被問到他在紐約大學的實驗室會做什麼研究。他的回答勾勒出了一個比 Epiplexity 更大的研究圖景。

他對幾個方向特別感興趣。第一是預訓練的替代方式。目前所有的前沿模型都是用「在大量文本上做下一個 token 預測」的方式預訓練。這個方法效果很好，但 Izmailov 覺得可能存在根本性的改進空間。也許是某種強化學習啟發的預訓練，也許是以合成資料為主的預訓練，甚至可能是某種類似 GAN 的自我對弈訓練方式。

第二是架構。Transformer 是否是最終的架構？它在很多任務上可能是高度次優的。尋找更好的架構可能是一個巨大的「算力乘數」（compute multiplier），不需要更多硬體就能獲得更好的效能。

第三是預訓練和後訓練的交互作用。如何分配算力？如何設計預訓練，讓後訓練能發揮最大效果？這些都是基礎性問題。

Izmailov 對產業界的評價很平衡。他承認產業界在執行已知方法上取得了驚人的進展，繼續沿著這條路走下去是一個合理的賭注。但他也認為，人類不應該把所有雞蛋放在一個籃子裡。學術界的角色就是去探索那些風險更高但可能帶來根本性突破的方向。

我的觀察

Epiplexity 這個概念乍看之下非常學術，但如果你仔細想想它的實際含義，會發現它和每一個正在用 AI 的人都有關。

核心 insight 其實很簡單：你（或你的模型）能從資料中學到多少東西，不只取決於資料本身，還取決於你有多少運算能力去處理它。同一批資料，對 GPT-4 和一個小型語言模型來說，包含的「有用資訊」是不一樣的。

這對合成資料的辯論有直接影響。很多人引用資訊理論來論證「合成資料不可能比原始資料更有用」，但 Epiplexity 指出，這個論證有一個隱含假設：觀察者有無限的運算能力。對真實的、運算受限的模型來說，精心設計的合成資料確實可以讓模型學到原本學不到的東西。

AlphaZero 的例子是最有力的說明。圍棋的規則就那幾條，根據經典資訊理論，你從圍棋規則出發做的任何確定性計算都不會「增加」資訊。但 AlphaZero 透過自我對弈產生了數十億盤棋譜，從中學到了人類花了幾千年才發展出的策略知識，甚至超越了人類的理解。從運算受限觀察者的角度看，那些棋譜確實包含了「新」資訊。

對臺灣的 AI 研究者和工程師來說，Epiplexity 提供的最大啟發可能是：設計訓練資料策略時，不能只想「資料量夠不夠」，還要想「以我的模型的運算能力來說，這些資料中有多少可學習的結構」。一個小模型可能需要和大模型完全不同的資料策略。不是因為它需要更少的資料，而是因為它能「看到」的模式不同。

最後，Izmailov 提到他希望探索全新的預訓練方法，包括「類似 GAN 的自我對弈」。如果這個方向有突破，配合 Epiplexity 提供的理論框架，我們可能會看到一種全新的 AI 訓練範式：模型自己生成訓練資料、自己評估、自己學習，形成一個良性循環。AlphaZero 做到了這件事，但只限於棋盤遊戲。能不能把這個概念推廣到語言和通用智慧？這可能是 AI 研究接下來幾年最值得關注的問題之一。