
Wikimedia Commons, CC BY-SA 4.0
傑佛瑞・辛頓
傑佛瑞・辛頓
關於 傑佛瑞・辛頓
一句話認識他
傑佛瑞·辛頓是「深度學習之父」,他推廣的反向傳播演算法讓神經網路能夠學習——沒有他,就沒有 ChatGPT、沒有 AI 繪圖、沒有語音助理。
為什麼他對 AI 如此重要?
如果要選出一個人來代表現代人工智慧的誕生,那個人就是傑佛瑞·辛頓。
今天你使用的每一個 AI 應用——無論是 ChatGPT 的對話、Midjourney 的繪圖、Siri 的語音辨識,還是手機相簿的人臉辨識——背後都使用著「神經網路」技術。而讓神經網路能夠「學習」的核心方法,正是辛頓在 1986 年與同事共同推廣的「反向傳播演算法」(Backpropagation)。
用白話來說:想像你在學投籃。每次投不進,教練會告訴你「手腕再翻一點」「角度再高一點」。你根據這些「錯誤訊號」調整動作,慢慢就投得準了。
反向傳播做的就是同樣的事:當神經網路預測錯誤時,它會計算「錯在哪裡」,然後把這個錯誤訊號一層一層往回傳,讓每一層神經元都知道自己該怎麼調整。這個看似簡單的想法,讓神經網路從「理論上可行」變成「實際上有用」。
但辛頓的貢獻遠不止於此:
- 玻爾茲曼機(1985):將統計物理學的概念引入神經網路,讓機器能夠學習資料中的隱藏模式
- AlexNet(2012):指導學生 Alex Krizhevsky 和 Ilya Sutskever 打造的深度卷積神經網路,在 ImageNet 圖像辨識競賽中大幅領先對手,正式開啟「深度學習革命」
- Dropout(2014):發明一種防止神經網路「死記硬背」的技術,至今仍是訓練神經網路的標準方法
辛頓被稱為「AI 教父」(Godfather of AI),與 Yoshua Bengio、Yann LeCun 並稱「深度學習三巨頭」。這三人在 2018 年共同獲得圖靈獎——計算機科學的諾貝爾獎。
2024 年,辛頓更進一步獲得真正的諾貝爾物理學獎,表彰他發明的玻爾茲曼機對人工神經網路的奠基貢獻。這是 AI 研究者首次獲得諾貝爾物理學獎,標誌著人工智慧從電腦科學延伸至物理學的里程碑。
關鍵貢獻
反向傳播演算法(1986)
1986 年,辛頓與 David Rumelhart、Ronald Williams 在《Nature》期刊發表〈Learning representations by back-propagating errors〉,這篇論文讓反向傳播演算法廣為人知,成為訓練神經網路的標準方法。
技術原理(白話版):
神經網路就像一個由很多層「神經元」組成的網路。每個神經元會接收訊號、做一些計算、再傳給下一層。問題是:這些神經元應該怎麼計算,才能得出正確答案?
反向傳播的做法是:
- 先讓網路「猜」一個答案
- 比較答案和正確解,算出「錯多少」
- 把這個錯誤訊號從最後一層往回傳,讓每一層都知道自己「貢獻了多少錯誤」
- 每個神經元根據自己的錯誤貢獻,調整自己的計算方式
- 重複以上步驟幾百萬次,網路就慢慢學會了
這篇論文至今被引用超過 10 萬次,是人工智慧領域最重要的論文之一。
玻爾茲曼機(1985)
辛頓與 David Ackley、Terry Sejnowski 共同發明了玻爾茲曼機(Boltzmann Machine),這是一種概率式神經網路,命名源自統計物理學家路德維希·玻爾茲曼。
為什麼重要:玻爾茲曼機能夠學習資料中的「隱藏結構」,而不需要人工標註。這個概念後來發展成「深度信念網路」和「生成式模型」,是現代生成式 AI(如 Stable Diffusion)的理論基礎之一。
2024 年,瑞典皇家科學院在頒發諾貝爾物理學獎時,明確提到玻爾茲曼機是辛頓的關鍵貢獻。
AlexNet 與深度學習革命(2012)
2012 年,辛頓指導他的兩位博士生 Alex Krizhevsky 和 Ilya Sutskever,打造了一個名為「AlexNet」的深度卷積神經網路,參加 ImageNet 圖像辨識競賽。
結果震驚了整個學術界:AlexNet 的錯誤率比第二名低了整整 10.8 個百分點。這在當時是前所未有的巨大差距。
為什麼重要:
- 證明深度有用:之前大家不確定「更深的網路是否更好」,AlexNet 用結果證明:深度神經網路確實威力驚人
- GPU 訓練:首次大規模使用 GPU(顯示卡)來訓練神經網路,大幅加速訓練過程
- 開啟深度學習熱潮:從此,Google、Facebook、Microsoft 等科技巨頭全力投入深度學習研究
這篇論文至今被引用超過 18 萬次,是 AI 領域引用次數最高的論文之一。
Dropout 技術(2014)
Dropout 是辛頓團隊發明的一種訓練技巧:在訓練過程中,隨機「關閉」一部分神經元,強迫網路不要過度依賴特定神經元。
用白話來說:就像一個籃球隊,如果練習時隨機讓某些球員坐板凳,整個團隊就會學會更靈活的戰術,而不是只依賴明星球員。
這個簡單的技巧大幅提升了神經網路的泛化能力,至今仍是深度學習的標準配備。
人生軌跡
早年與求學
1947 年 12 月 6 日,傑佛瑞·辛頓出生於英國倫敦的一個學術世家。他的曾曾祖父喬治·布爾(George Boole)是布林代數的發明者——沒錯,就是電腦科學裡那個「0 和 1」的邏輯運算的布爾。他的父親霍華德·辛頓是知名昆蟲學家,三個兄弟姊妹也都從事學術研究。
在這樣的家庭背景下,辛頓從小就展現出對科學的興趣。他在劍橋大學攻讀實驗心理學,對「大腦如何學習」這個問題產生了濃厚興趣。
1972 年,辛頓開始攻讀博士學位,一頭栽入「如何讓機器模仿大腦學習」的研究。1978 年,他在愛丁堡大學取得人工智慧博士學位。
神經網路的「AI 寒冬」
然而,辛頓選擇的研究方向——神經網路——在當時並不受歡迎。
1970-80 年代是「AI 寒冬」時期。大多數 AI 研究者認為神經網路是「死路一條」,轉而投入其他方向。經費枯竭、論文被拒、同行質疑,辛頓卻依然堅持。
「當時幾乎沒有人相信神經網路,」辛頓後來回憶,「但我相信大腦是用某種類似的方式運作的,所以這條路一定是對的。」
移居加拿大
1987 年,辛頓做出一個重要決定:離開美國,移居加拿大。
原因是政治立場。當時美國大部分 AI 研究經費來自國防部,辛頓反對將 AI 用於軍事目的,也不認同雷根政府的政策。他加入多倫多大學電腦科學系,開始在加拿大建立神經網路研究的根據地。
這個決定後來證明是明智的。多倫多大學成為深度學習的重鎮,培養出 Ilya Sutskever(OpenAI 共同創辦人)、Alex Krizhevsky(AlexNet 作者)等一批頂尖人才。
Google 時期(2013-2023)
2012 年 AlexNet 的成功引起了科技巨頭的注意。辛頓和兩位學生成立了一家小公司 DNNresearch,立刻被 Google、Microsoft、百度等公司競標。最終 Google 以 4,400 萬美元收購。
從 2013 年到 2023 年,辛頓一邊在多倫多大學任教,一邊在 Google Brain 團隊工作。他參與了 Google 在語音辨識、圖像辨識、自然語言處理等領域的多項突破。
離開 Google,警告 AI 風險
2023 年 5 月,辛頓公開宣布離開 Google,原因是想自由地談論 AI 的風險。
「我對自己畢生的工作感到後悔,」他在接受《紐約時報》採訪時說。這句話震驚了整個科技界。
辛頓擔心的是:AI 系統可能在 5 到 20 年內超越人類智慧,而我們還沒準備好應對這種情況。他呼籲政府加強監管,呼籲 AI 公司投入更多資源研究 AI 安全。
師承與門生
辛頓的學術傳承堪稱一棵枝繁葉茂的大樹。
他的博士導師是 Christopher Longuet-Higgins,一位認知科學先驅。而辛頓自己則培養出一批影響深遠的學生:
Ilya Sutskever:OpenAI 共同創辦人兼前首席科學家,2023 年曾短暫罷免 Sam Altman,2024 年離開 OpenAI 創辦 SSI(Safe Superintelligence)。辛頓在得知諾貝爾獎時說:「我為 Ilya 感到驕傲。」
Alex Krizhevsky:AlexNet 的主要開發者,深度學習革命的關鍵推手
Yann LeCun:卷積神經網路(CNN)之父,現任 Meta 首席 AI 科學家,與辛頓同為 2018 年圖靈獎得主
Ruslan Salakhutdinov:前 Apple AI 研究總監,深度信念網路的重要貢獻者
這些學生又各自培養了下一代 AI 研究者,形成了一個龐大的學術家族。可以說,今天大部分頂尖 AI 研究者,都和辛頓有直接或間接的師承關係。
獎項與榮譽
2018 年 ACM 圖靈獎
2018 年,辛頓與 Yoshua Bengio、Yann LeCun 共同獲得 ACM 圖靈獎,表彰三人對深度學習的開創性貢獻。
圖靈獎被譽為「計算機科學的諾貝爾獎」,這是首次頒發給深度學習領域的研究者。三人被媒體稱為「深度學習三巨頭」或「AI 教父」。
2024 年諾貝爾物理學獎
2024 年 10 月,瑞典皇家科學院宣布將諾貝爾物理學獎頒發給辛頓和 John Hopfield,「表彰他們對人工神經網路機器學習的基礎性發現與發明」。
這是 AI 研究者首次獲得諾貝爾物理學獎。頒獎詞特別提到辛頓發明的玻爾茲曼機,將統計物理學的概念引入神經網路,為現代深度學習奠定基礎。
在諾貝爾獎晚宴的致詞中,辛頓警告:「當我們創造出比自己更聰明的數位生命時,我們不知道能否保持控制。我們迫切需要研究如何防止這些新生命體想要奪取控制權。」
2025 年伊麗莎白女王工程獎
2025 年,辛頓再度獲得肯定,與 Yoshua Bengio、Yann LeCun、John Hopfield、李飛飛、黃仁勳、Bill Dally 共同獲得伊麗莎白女王工程獎,表彰他們對人工智慧和深度學習的貢獻。
其他重要獎項
- 2001 年:Rumelhart Prize(首位得主)
- 2005 年:IJCAI 傑出研究獎
- 1990 年:當選美國人工智慧學會會士(AAAI Fellow)
- 1996 年:當選加拿大皇家學會會士
- 1998 年:當選英國皇家學會會士
觀點與立場
對 AI 風險的警告
辛頓原本專注於技術研究,很少公開談論 AI 的社會影響。但 2023 年後,他成為 AI 風險最知名的警告者之一。
他擔憂的具體問題包括:
- 假訊息:AI 生成的假圖片、假影片會破壞人們對資訊的信任
- 大規模監控:威權政府可能利用 AI 進行前所未有的監控
- 工作取代:AI 可能取代大量白領工作,造成社會動盪
- 失控風險:當 AI 比人類更聰明時,我們可能無法控制它
「我以前以為這些風險還很遙遠,」辛頓說,「但 GPT-4 讓我改變了看法。這些系統的進步速度比我預期的快得多。」
重要發言摘錄
「我對自己畢生的工作感到後悔。」
——2023 年 5 月,接受《紐約時報》採訪
「這些系統將會比我們更聰明。」
——2024 年 10 月,獲得諾貝爾獎後
「如果 AI 的好處能平等分享,這將是全人類的美好進步。但我們現在有證據表明,如果 AI 是由追求短期利潤的公司創造的,我們的安全不會是他們的首要考量。」
——2024 年 12 月,諾貝爾獎晚宴致詞
延伸閱讀
推薦演講
- Geoffrey Hinton 諾貝爾獎演講(2024):辛頓用不帶數學公式的方式,向一般觀眾解釋玻爾茲曼機的原理
重要論文
- Learning representations by back-propagating errors (1986)
- ImageNet Classification with Deep Convolutional Neural Networks (2012)
相關報導
照片來源建議
以下是可供挑選的 Geoffrey Hinton 照片來源:
Wikimedia Commons:有多張 CC 授權照片,包括 2024 年諾貝爾獎頒獎典禮的照片
諾貝爾獎官網相簿:有高品質的官方照片
多倫多大學官網:有學術場合的照片
建議選用 2024 年諾貝爾獎典禮或演講時的照片,因為最具代表性且時效性佳。
相關人物
- Ilya Sutskever:辛頓的學生,OpenAI 共同創辦人,SSI 創辦人
- Yann LeCun:圖靈獎共同得主,卷積神經網路之父
- Yoshua Bengio:圖靈獎共同得主,序列模型先驅
職涯經歷
VP & Engineering Fellow
教授
多倫多大學
Gatsby 計算神經科學中心主任
倫敦大學學院
教授
卡內基美隆大學
學歷
劍橋大學
實驗心理學學士
愛丁堡大學
人工智慧博士
創業經歷
DNNresearch
2012 年創立 被 Google 以 4,400 萬美元收購重要言論
我對自己畢生的工作感到後悔
這些系統將會比我們更聰明
我們迫切需要研究如何防止這些新生命體想要奪取控制權