Ilya Sutskever:人類的學習能力遠超 AI,而且原因不是你想的那樣
一個青少年 10 小時就能學會開車,AI 做不到。Ilya Sutskever 認為這不只是資料量的問題,而是指向某種更根本的「更好的機器學習」。他有想法,但拒絕公開談——這本身就很有意思。
本文整理自 Dwarkesh Podcast 2024 年 12 月播出的單集。
Yann LeCun 曾說過,人類青少年只需要大約十小時的練習就能學會開車。
Ilya Sutskever 在訪談中回應這個觀察:「這是真的,但我們的視覺能力太強了。我記得我五歲的時候對車很著迷,我很確定當時我的車輛辨識能力就已經足夠用於自動駕駛了。」
一個五歲小孩,大部分時間待在家裡,看到的車輛資料極其有限,卻能發展出足以支撐複雜駕駛任務的視覺能力。這怎麼可能?
人類學習的三個驚人特點
Ilya 指出,人類的學習能力有幾個讓 AI 研究者羨慕的特點。
第一,樣本效率高得離譜。模型需要看過幾乎整個網路的資料才能有今天的能力,人類十五年就能用極少量資料學會很多事情。我們知道的東西可能比模型少,但「知道的深度」不一樣。五歲小孩不會犯 AI 會犯的那種低級錯誤。
第二,不需要可驗證的獎勵。訓練 AI 需要明確的對錯信號,但人類學習不是這樣。一個年輕研究員跟著資深研究員工作,看他怎麼思考、怎麼寫程式,就能吸收他的思維方式。不需要有人設計課程、設計獎勵函數。「這不是什麼『好,這是你課程的下一部分,然後這是下一部分,然後訓練不穩定了我們得調整…』那種繁瑣的過程。」
第三,極度穩健。人類的能力很少會在奇怪的邊界情況下崩潰。我們可能不是最強的,但我們是穩定的。
這不只是進化給的先驗知識
有人可能會說:這是進化給我們的優勢。幾百萬年的演化讓我們的大腦有了某些「先天設定」,所以學得快。
Ilya 不完全同意。
他舉了一個例子:視覺和運動能力確實可能是進化的遺產。我們的祖先需要看得清楚、跑得快,所以這方面的神經迴路可能是「內建」的。但語言、數學、寫程式呢?這些東西幾百年前才出現,根本沒有時間進化出專門的迴路。
「如果人類在一個直到最近才存在的領域中展現出很強的學習能力、可靠性、穩健性,那這更可能表示人類就是有更好的機器學習,就這樣。」
這是一個大膽的說法。它意味著人類大腦可能有某種我們還不理解的學習機制,這個機制是通用的,不只是針對特定領域。
價值函數與情感的角色
訪談中有一段很有意思的討論是關於情感。
Ilya 提到一個案例:有個人因為腦傷失去了情感處理能力。他還是很會說話,做小測驗也沒問題,看起來認知功能正常。但他變得極度無法做決定——選襪子要花好幾個小時——而且財務決策一塌糊塗。
這說明什麼?情感可能是人類「價值函數」的一部分。
在強化學習中,價值函數告訴模型「這個狀態好不好」,幫助它在還沒看到最終結果前就能做判斷。人類的情感似乎扮演類似角色:你不需要把每個決定都想到最終結果,情感會告訴你「這感覺不對」或「這值得追求」。
「青少年學開車的時候,他們一開始就有對自己表現的感覺——知道自己開得多爛、多沒信心。然後他們學得超快,十小時就能上路了。」
有趣的是,這種情感驅動的價值函數可能是進化「寫入」我們的。但它又足夠通用,能應用在各種新情境中。這種「簡單但通用」的特性可能正是它有效的原因。
Ilya 有想法,但不能說
訪談中最意味深長的一刻,是當主持人追問「那我們該怎麼重新思考模型訓練」時。
Ilya 說:「這是個好問題。我對這個問題有很多想法。但很不幸,我們活在一個不是所有機器學習想法都能公開討論的世界,這就是其中之一。」
然後他補充:「我認為這是可以做到的。人類就是這樣,這證明了它是可能的。」
這段話本身就很有資訊量。Ilya 認為他知道某些關鍵,但因為競爭考量不能公開。這意味著這不只是哲學討論,而是可能有實際的技術路徑。
他確實透露了一點:「可能有另一個阻礙——人類神經元做的運算可能比我們以為的多。如果這是真的,而且很重要,事情可能會更難。」
這暗示他的想法可能跟神經科學有關,跟大腦實際如何運作有關。
這對 AI 發展意味著什麼?
如果 Ilya 是對的——如果人類確實有某種「更好的機器學習」,而這不只是進化給的作弊碼——那意味著目前的方法論可能有根本性的缺陷。
不是說現在的模型不會繼續進步,它們會。但可能有一個天花板,而突破那個天花板需要的不是更多資料或算力,而是對學習本質的更深理解。
Ilya 在訪談中說:「我認為目前的方法會走一段路然後停下來。會繼續改善,但不會是『它』。」
那個「它」是什麼?可能跟人類這種驚人的學習能力有關。找到它,可能是通往真正智慧系統的關鍵。