邱運(yùn)鵬

王兆洋｜wangzhaoyang@pingwest.com董道力｜dongdaoli@pingwest.com

諾貝爾物理學(xué)獎(jiǎng)獲得者，被稱為人工智能教父之一的杰弗里·辛頓，只能站著。

他的腰傷是老毛病，平躺或者站立，卻不能久坐。這在人工智能圈里是人們熟知的，但耐不住AI的出圈，讓這件事有了些小風(fēng)波。

2025年7月26日，上海人工智能大會(huì)正式開幕，新晉諾貝爾獎(jiǎng)得主的辛頓第一次來到了中國(guó)。而據(jù)接近行程安排的人透露，這也是辛頓多年來第一次長(zhǎng)途國(guó)際旅行。而作為今天少有的身份獨(dú)立但影響力巨大的AI科學(xué)家，辛頓的行程自然緊張。

其實(shí)7月22日他便已抵達(dá)上海，此行重要目的之一，是探討AI欺騙性行為帶來的關(guān)鍵風(fēng)險(xiǎn)，這是“AI安全國(guó)際對(duì)話”（InternationalDialoguesonAISafety-IDAIS）系列的一部分，這個(gè)會(huì)議由上海期智研究院，AI安全國(guó)際論壇（SAIF），和上海人工智能實(shí)驗(yàn)室主辦。

一整個(gè)周末，他在會(huì)場(chǎng)和多位科學(xué)家一起討論，包括圖靈獎(jiǎng)得主及上海期智研究院院長(zhǎng)姚期智教授、加州大學(xué)伯克利分校教授StuartRussell、上海人工智能實(shí)驗(yàn)室主任周伯文教授等科學(xué)家，最終一起提出了AI安全的“上海共識(shí)”。

7月25日晚些時(shí)候，原本辛頓計(jì)劃出現(xiàn)在最終的發(fā)布會(huì)上，一眾媒體也為此而來，然而辛頓最終并沒有現(xiàn)身。姚期智和一眾科學(xué)家一起發(fā)布了此次倡導(dǎo)國(guó)際合作的上海共識(shí)。在這個(gè)辛頓深度參與的共識(shí)里，對(duì)于新近出現(xiàn)的關(guān)于人工智能欺騙行為的實(shí)證證據(jù)，并提出了應(yīng)對(duì)策略，呼吁采取三項(xiàng)關(guān)鍵行動(dòng)：

第一，要求前沿人工智能開發(fā)者提供安全保障。提出開發(fā)者在模型部署前應(yīng)先進(jìn)行全面的內(nèi)部檢查和第三方評(píng)估，開展深入的模擬攻防與紅隊(duì)測(cè)試。若模型達(dá)到了關(guān)鍵能力閾值（比如檢測(cè)模型是否有具備幫助沒有專業(yè)知識(shí)的非法分子制造生化武器的能力），開發(fā)者應(yīng)向政府等說明潛在風(fēng)險(xiǎn)。

第二，通過加強(qiáng)國(guó)際協(xié)調(diào),共同確立并恪守可驗(yàn)證的全球性行為紅線。國(guó)際社會(huì)需要合作劃出人工智能開發(fā)不可以逾越的紅線，并應(yīng)建立一個(gè)具備技術(shù)能力、具有國(guó)際包容性的協(xié)調(diào)機(jī)構(gòu)，匯聚各國(guó)人工智能安全主管機(jī)構(gòu)，以共享風(fēng)險(xiǎn)相關(guān)信息，并推動(dòng)評(píng)估規(guī)程與驗(yàn)證方法的標(biāo)準(zhǔn)化。

第三，對(duì)保障安全性的開發(fā)方式進(jìn)行投資，科學(xué)界和開發(fā)者應(yīng)投入一系列嚴(yán)格機(jī)制來保障人工智能系統(tǒng)的安全性。長(zhǎng)期需要化被動(dòng)為主動(dòng)，構(gòu)建基于“設(shè)計(jì)即安全”的人工智能系統(tǒng)。

這次會(huì)議的主要參會(huì)者合影留念時(shí)，辛頓獨(dú)自站在后面。這張照片在社交媒體上引發(fā)了討論：“為什么他沒有座位?！?/p>

7月26日早上，在上海人工智能大會(huì)的正式開幕式上，辛頓又上臺(tái)做了演講。PPT一左一右中英文對(duì)照。

在討論了諸多對(duì)AI與人類行為相似度的思考后，辛頓把話題引向安全。

他提到，今天幾乎所有專家都認(rèn)為會(huì)出現(xiàn)比人類更智能的AI，這些智能體是否會(huì)反過來操縱人類？

“簡(jiǎn)單關(guān)閉它們不現(xiàn)實(shí)，就像養(yǎng)老虎當(dāng)寵物，養(yǎng)大后可能被其傷害?！?/p>

這是很激進(jìn)的說法，但辛頓最近的主要公開發(fā)言，都在向人類提出類似警告。

他提出的應(yīng)對(duì)措施是，人類既然無法消除AI，那就必須找到一種訓(xùn)練AI不消滅人類的方法。他呼吁國(guó)際合作，提出要像人類預(yù)防核戰(zhàn)爭(zhēng)一樣，建立國(guó)際社群來預(yù)防AI操縱世界，推動(dòng)AI向善。

“我們希望能夠有一個(gè)AI安全機(jī)構(gòu)構(gòu)成的一個(gè)國(guó)際社群來研究技能，來培訓(xùn)AI，讓他們向善?！?/p>

在當(dāng)天的WAIC開幕式，以及后續(xù)的多個(gè)論壇里，安全被放在最重要的位置討論。而今天你很難找到一個(gè)如此高規(guī)格和關(guān)注度的會(huì)議上，給安全治理如此大篇幅的重視。

辛頓此前在離開Google后，開始在AI對(duì)人的安全威脅問題上不停提出警告。但這種呼吁，有時(shí)候在AI一片高速競(jìng)爭(zhēng)里顯得不合時(shí)宜，尤其硅谷此刻正處在Meta和OpenAI們重新塑造的“Movingfastbreakeverything”文化之下，這樣的聲音被繼續(xù)沖散。

對(duì)于辛頓來說，這時(shí)候一個(gè)全球化的，能被更多人認(rèn)真對(duì)待的安全呼吁對(duì)他來說充滿吸引力。一個(gè)愿意花費(fèi)更高規(guī)格更多注意力在AI安全討論上的氛圍，對(duì)他來說也很重要。據(jù)一名了解辛頓此次上海行程的人士透露，他自己也對(duì)參與哪些環(huán)節(jié)有很多想法。主動(dòng)把自己的行程排的很滿。

7月26日下午，當(dāng)辛頓上午的演講和PPT在各種AI群里傳播時(shí)，他本人已經(jīng)來到模速空間旁的西岸美高梅酒店，參加他此次行程里唯一一場(chǎng)公開對(duì)話活動(dòng)。

美高梅一樓不大的會(huì)議廳里，隨著辛頓的環(huán)節(jié)臨近，人越來越多。辛頓并沒像其他嘉賓提前到場(chǎng)，據(jù)透露，他從另一場(chǎng)高級(jí)別閉門會(huì)議趕過來，在場(chǎng)的工作人員每隔幾分鐘同步一下他的行程。

在缺席了一天前幾乎同一時(shí)間的見面會(huì)后，5點(diǎn)10分，在一場(chǎng)有三個(gè)院士的圓桌之后，辛頓終于亮相出場(chǎng)。全場(chǎng)起立鼓掌拍照。

在這場(chǎng)和周伯文的對(duì)話里，辛頓提出了更多的想法，也給年輕的科學(xué)家們提出更多建議。

以下是最新出爐的對(duì)話實(shí)錄。在這個(gè)對(duì)話里，辛頓提出了許多充滿智慧的建設(shè)性的提議，它們都需要國(guó)際合作，需要一些更有影響力的牽頭者。也許這也是辛頓此次到來的原因之一。

周伯文:非常感謝。Jeff，您能親臨現(xiàn)場(chǎng)，對(duì)我們所有人來說都是一份真正的榮幸。非常感謝。我想從一個(gè)我們本周早些時(shí)候就該討論的問題開始，但今天上午在臺(tái)上我們沒有時(shí)間深入。這個(gè)問題是關(guān)于多模態(tài)和前沿模型的主觀體驗(yàn)（subjectiveexperiences）。您認(rèn)為今天的多模態(tài)和前沿模型也能發(fā)展出主觀體驗(yàn)嗎？您能否就其可能性問題，展開談?wù)勀目捶ǎ?/p>

辛頓：這嚴(yán)格來說與科學(xué)無關(guān)，這是一個(gè)關(guān)于你如何理解“主觀經(jīng)驗(yàn)”、“靈魂”或“意識(shí)”等概念的問題。我相信，我們大多數(shù)人持有的模型是深度錯(cuò)誤的。很多人沒有意識(shí)到，即便你能正確地使用詞語，并且擁有一套關(guān)于詞語如何運(yùn)作的理論，這套理論也可能完全是錯(cuò)的，哪怕是對(duì)于日常詞匯。所以，我想舉一個(gè)日常用語的例子，對(duì)于這些詞，你有一套自己的理論，它們看似簡(jiǎn)單直白，但你的理論卻是錯(cuò)的。

你需要接受這樣一種觀點(diǎn)：你對(duì)于“工作”、“健康”等詞語真正含義的理論可能是錯(cuò)誤的。我們來看看“水平（horizontal）”和“垂直（vertical）”這兩個(gè)詞。大多數(shù)人認(rèn)為他們明白這兩個(gè)詞的意思，但他們的理論其實(shí)是不正確的。我會(huì)通過問一個(gè)人們幾乎總是答錯(cuò)的問題來證明這一點(diǎn)。

假設(shè)我把許多小的鋁棒向空中拋撒，它們?cè)诳罩蟹瓭L碰撞。然后我突然凍結(jié)時(shí)間，空中布滿了這些朝向各異的鋁棒。問題是：與垂直方向夾角在一度以內(nèi)的鋁棒多，還是與水平方向夾角在一度以內(nèi)的鋁棒多，或者兩者數(shù)量差不多？幾乎所有人都回答“差不多”，這是基于他們對(duì)這兩個(gè)詞的理論。

但他們錯(cuò)得離譜，差距超過100倍。對(duì)于這些小鋁棒來說，處于水平方向一度范圍內(nèi)的數(shù)量，大約是處于垂直方向一度范圍內(nèi)數(shù)量的114倍。原因在于，“垂直”就是這樣（指一個(gè)方向），這也是垂直，僅此而已。但“水平”是這樣，這也是水平，這些都是水平。因此，水平的“桿狀物”遠(yuǎn)比垂直的要多?！按怪薄笔欠浅Ｌ厥獾?。

現(xiàn)在換一個(gè)問題。我手里有一把鋁制的圓盤，我把它們拋向空中并凍結(jié)時(shí)間。那么，是與垂直方向夾角一度以內(nèi)的圓盤多，還是與水平方向一度以內(nèi)的多？這次答案反過來了，與垂直方向一度以內(nèi)的圓盤數(shù)量，是水平方向的大約114倍。因?yàn)閷?duì)于一個(gè)圓盤或一個(gè)平面來說，“水平”就是這樣，僅此而已。而“垂直”是這樣，這也是垂直，這些都是垂直。

所以在三維空間里，垂直的“桿”很特殊，而水平的“桿”很普遍；但水平的“面”很特殊，而垂直的“面”卻很普遍。當(dāng)你形成關(guān)于這些詞的理論時(shí)，你往往會(huì)取一個(gè)平均化的概念，認(rèn)為水平和垂直差不多，但這完全是錯(cuò)的。它取決于你討論的是線還是面。人們不了解這一點(diǎn)，因此會(huì)給出錯(cuò)誤的答案。

這看起來似乎與意識(shí)問題無關(guān)，但并非如此。它說明了我們對(duì)于詞語如何運(yùn)作的理論可能是完全錯(cuò)誤的。我的觀點(diǎn)是，幾乎每個(gè)人對(duì)于像“主觀經(jīng)驗(yàn)”這類術(shù)語如何運(yùn)作的理論，都是完全錯(cuò)誤的。他們持有一個(gè)非常頑固但完全錯(cuò)誤的理論。所以這并非一個(gè)真正的科學(xué)問題，而是從一個(gè)錯(cuò)誤的心理狀態(tài)模型出發(fā)導(dǎo)致的問題?；阱e(cuò)誤模型，你自然會(huì)做出錯(cuò)誤的預(yù)測(cè)。

因此，我的觀點(diǎn)是：目前的多模態(tài)聊天機(jī)器人已經(jīng)具備意識(shí)了。

周伯文：這個(gè)觀點(diǎn)可能會(huì)讓在座的許多研究者感到震驚。但讓我想想，在早些時(shí)候，另一位加拿大科學(xué)家理查德·薩頓（RichardSutton）也發(fā)表了演講，主題是“歡迎來到經(jīng)驗(yàn)的時(shí)代”。我認(rèn)為他的意思是，當(dāng)人類數(shù)據(jù)耗盡時(shí)，模型可以從自身的經(jīng)驗(yàn)中學(xué)習(xí)。而您似乎從另一個(gè)角度點(diǎn)亮了這個(gè)問題：智能體或多模態(tài)大模型不僅能從經(jīng)驗(yàn)中學(xué)習(xí)，還能發(fā)展出它們自己的主觀經(jīng)驗(yàn)。理查德今天似乎沒有過多探討從主觀經(jīng)驗(yàn)中學(xué)習(xí)可能帶來的風(fēng)險(xiǎn)。您能否就“智能體可以學(xué)習(xí)主觀經(jīng)驗(yàn)”這一事實(shí)或假說，以及它可能帶來的潛在風(fēng)險(xiǎn)，談?wù)勀目捶ǎ?/p>

辛頓：是的。目前的情況是，像大型語言模型主要是從我們投喂的文檔中學(xué)習(xí)。但一旦你擁有了像機(jī)器人這樣存在于真實(shí)世界中的智能體，它們就能從自己的經(jīng)驗(yàn)中學(xué)習(xí)。我認(rèn)為它們最終學(xué)到的會(huì)比我們多得多。我相信它們將擁有經(jīng)驗(yàn)，但“經(jīng)驗(yàn)”不是一個(gè)實(shí)體物件。經(jīng)驗(yàn)不像一張照片，它是一種你與客體之間的關(guān)系。

周伯文:此外，關(guān)于我們可能討論的潛在風(fēng)險(xiǎn)，還有幾件事。幾天前和您交流時(shí)您提到，減少未來AI風(fēng)險(xiǎn)的一個(gè)可能解決方案，是設(shè)法將AI的不同能力分開對(duì)待。

辛頓：我其實(shí)不是那個(gè)意思。我的意思是，你將會(huì)有一個(gè)既聰明又不善良的AI。但如何訓(xùn)練它變得聰明和如何訓(xùn)練它變得善良是兩個(gè)不同的問題。

所以你可以有讓它變得善良的技術(shù)和讓它變得聰明的技術(shù)，這會(huì)是同一個(gè)AI，但使用了不同的技術(shù)。

因此，各個(gè)國(guó)家可以分享使AI變得善良的技術(shù)，即使他們不想分享使AI變得聰明的技術(shù)。

周伯文：我對(duì)此有些疑慮。這個(gè)想法的初衷很好，我也很喜歡。但我不確定這條路能走多遠(yuǎn)。您認(rèn)為會(huì)存在一種普適性的、訓(xùn)練AI“善良”的方法，可以應(yīng)用于不同智能水平的AI模型嗎？

辛頓:這是我的希望。它可能無法實(shí)現(xiàn)，但這是一個(gè)值得我們?nèi)ヌ剿鞯目赡苄浴?/p>

周伯文:確實(shí)。但我想用一個(gè)類比來提出我的疑問，我提出這個(gè)問題是為了激發(fā)更多人對(duì)您提到的方向進(jìn)行研究。我的類比來自物理學(xué)：當(dāng)物體低速運(yùn)動(dòng)時(shí)，牛頓定律有效；但當(dāng)物體接近光速時(shí)，牛頓定律就不再適用，我們必須求助于愛因斯坦的理論。

順便說一句，這有點(diǎn)奇怪。我在一位諾貝爾物理學(xué)獎(jiǎng)獲得者面前講起了物理101。

辛頓：不，不奇怪。（給我頒獎(jiǎng)）是個(gè)錯(cuò)誤。他們就是想要有一個(gè)給AI的諾貝爾獎(jiǎng)，然后就把物理獎(jiǎng)拿出來用了。

周伯文:哈哈。不過這個(gè)類比或許說明，對(duì)于“善良”的約束，可能需要根據(jù)智能系統(tǒng)的不同層級(jí)進(jìn)行調(diào)整和改變。我不知道這是否正確，但我希望在座或在線的聰明的年輕人們能找到實(shí)現(xiàn)它的方法。

辛頓:是的，很有可能隨著決策系統(tǒng)變得越來越智能，我們讓它保持善良的技術(shù)也需要隨之改變。我們現(xiàn)在還不知道答案，這也是我們需要立刻開始研究它的原因之一。

周伯文:您作為一位成就卓著的學(xué)者，卻經(jīng)常說“我不知道”，這讓人印象非常深刻。我認(rèn)為這非常坦誠，并保持了開放的心態(tài)，這是我們都想向您學(xué)習(xí)的。今天我們這里有一半的參會(huì)者來自量子物理、生物學(xué)等不同科學(xué)領(lǐng)域。我們之所以聚集于此，是因?yàn)槲覀兿嘈艧o論是AGI、AI還是AI與科學(xué)的交叉領(lǐng)域，都正迎來無盡的前沿機(jī)遇。所以，關(guān)于利用AI推動(dòng)科學(xué)進(jìn)步，或者反過來利用科學(xué)助推AI發(fā)展，您有什么想說的？

辛頓：我認(rèn)為AI將極大地幫助科學(xué)發(fā)展，這一點(diǎn)非常明確。最令人矚目的例子無疑是蛋白質(zhì)折疊，DemisHassabis等人通過明智地運(yùn)用AI并投入巨大努力，極大地提升了預(yù)測(cè)的準(zhǔn)確性。這是一個(gè)早期的標(biāo)志，預(yù)示著AI將在眾多科學(xué)領(lǐng)域帶來進(jìn)步。您也提到了預(yù)測(cè)臺(tái)風(fēng)登陸點(diǎn)和天氣預(yù)報(bào)的例子，AI的表現(xiàn)已經(jīng)能比最好的傳統(tǒng)物理系統(tǒng)更勝一籌。

周伯文：在您卓越的學(xué)術(shù)生涯中，您不僅推動(dòng)了AI技術(shù)的邊界，也深刻地影響了下一代研究者，比如YoshuaBengio和許多更年輕的后輩。在上海AI實(shí)驗(yàn)室，我們的研究人員平均年齡約為30歲，這清晰地表明AI的未來屬于年輕一代。看著這些年輕的面孔，您有什么建議想與他們分享，幫助他們更快地成長(zhǎng)嗎？

辛頓:我只有一條建議：如果你想做真正原創(chuàng)性的研究，就應(yīng)該去尋找那些你認(rèn)為“所有人都做錯(cuò)了”的領(lǐng)域。通常，當(dāng)你這么想并開始研究自己的方法時(shí)，最終你可能會(huì)發(fā)現(xiàn)大家那樣做是有原因的，而你的方法是錯(cuò)的。但關(guān)鍵是，在你親身搞明白它為什么錯(cuò)之前，絕不要放棄。不要因?yàn)槟愕膶?dǎo)師說“這個(gè)方法很蠢”就放棄它。忽略導(dǎo)師的建議，堅(jiān)持你所相信的，直到你自己弄懂它錯(cuò)在哪里。

偶爾，你會(huì)發(fā)現(xiàn)自己堅(jiān)持的東西并沒有錯(cuò)，而這正是重大突破的來源。這些突破從不屬于輕易放棄的人。即便別人都不同意你，你也要堅(jiān)持下去。這背后有一個(gè)簡(jiǎn)單的邏輯：你要么直覺很好，要么直覺很差。如果你直覺很好，顯然應(yīng)該堅(jiān)持它。如果你直覺很差，那你做什么關(guān)系都不大，所以你同樣應(yīng)該堅(jiān)持你的直覺。

點(diǎn)個(gè)愛心，再走吧