王兆洋|wangzhaoyang@pingwest.com董道力|dongdaoli@pingwest.com
諾貝爾物理學(xué)獎(jiǎng)獲得者,被稱為人工智能教父之一的杰弗里·辛頓,只能站著。
他的腰傷是老毛病,平躺或者站立,卻不能久坐。這在人工智能圈里是人們熟知的,但耐不住AI的出圈,讓這件事有了些小風(fēng)波。
2025年7月26日,上海人工智能大會(huì)正式開(kāi)幕,新晉諾貝爾獎(jiǎng)得主的辛頓第一次來(lái)到了中國(guó)。而據(jù)接近行程安排的人透露,這也是辛頓多年來(lái)第一次長(zhǎng)途國(guó)際旅行。而作為今天少有的身份獨(dú)立但影響力巨大的AI科學(xué)家,辛頓的行程自然緊張。
其實(shí)7月22日他便已抵達(dá)上海,此行重要目的之一,是探討AI欺騙性行為帶來(lái)的關(guān)鍵風(fēng)險(xiǎn),這是“AI安全國(guó)際對(duì)話”(InternationalDialoguesonAISafety-IDAIS)系列的一部分,這個(gè)會(huì)議由上海期智研究院,AI安全國(guó)際論壇(SAIF),和上海人工智能實(shí)驗(yàn)室主辦。
一整個(gè)周末,他在會(huì)場(chǎng)和多位科學(xué)家一起討論,包括圖靈獎(jiǎng)得主及上海期智研究院院長(zhǎng)姚期智教授、加州大學(xué)伯克利分校教授StuartRussell、上海人工智能實(shí)驗(yàn)室主任周伯文教授等科學(xué)家,最終一起提出了AI安全的“上海共識(shí)”。
7月25日晚些時(shí)候,原本辛頓計(jì)劃出現(xiàn)在最終的發(fā)布會(huì)上,一眾媒體也為此而來(lái),然而辛頓最終并沒(méi)有現(xiàn)身。姚期智和一眾科學(xué)家一起發(fā)布了此次倡導(dǎo)國(guó)際合作的上海共識(shí)。在這個(gè)辛頓深度參與的共識(shí)里,對(duì)于新近出現(xiàn)的關(guān)于人工智能欺騙行為的實(shí)證證據(jù),并提出了應(yīng)對(duì)策略,呼吁采取三項(xiàng)關(guān)鍵行動(dòng):
第一,要求前沿人工智能開(kāi)發(fā)者提供安全保障。提出開(kāi)發(fā)者在模型部署前應(yīng)先進(jìn)行全面的內(nèi)部檢查和第三方評(píng)估,開(kāi)展深入的模擬攻防與紅隊(duì)測(cè)試。若模型達(dá)到了關(guān)鍵能力閾值(比如檢測(cè)模型是否有具備幫助沒(méi)有專業(yè)知識(shí)的非法分子制造生化武器的能力),開(kāi)發(fā)者應(yīng)向政府等說(shuō)明潛在風(fēng)險(xiǎn)。
第二,通過(guò)加強(qiáng)國(guó)際協(xié)調(diào),共同確立并恪守可驗(yàn)證的全球性行為紅線。國(guó)際社會(huì)需要合作劃出人工智能開(kāi)發(fā)不可以逾越的紅線,并應(yīng)建立一個(gè)具備技術(shù)能力、具有國(guó)際包容性的協(xié)調(diào)機(jī)構(gòu),匯聚各國(guó)人工智能安全主管機(jī)構(gòu),以共享風(fēng)險(xiǎn)相關(guān)信息,并推動(dòng)評(píng)估規(guī)程與驗(yàn)證方法的標(biāo)準(zhǔn)化。
第三,對(duì)保障安全性的開(kāi)發(fā)方式進(jìn)行投資,科學(xué)界和開(kāi)發(fā)者應(yīng)投入一系列嚴(yán)格機(jī)制來(lái)保障人工智能系統(tǒng)的安全性。長(zhǎng)期需要化被動(dòng)為主動(dòng),構(gòu)建基于“設(shè)計(jì)即安全”的人工智能系統(tǒng)。
這次會(huì)議的主要參會(huì)者合影留念時(shí),辛頓獨(dú)自站在后面。這張照片在社交媒體上引發(fā)了討論:“為什么他沒(méi)有座位?!?/p>
7月26日早上,在上海人工智能大會(huì)的正式開(kāi)幕式上,辛頓又上臺(tái)做了演講。PPT一左一右中英文對(duì)照。
在討論了諸多對(duì)AI與人類行為相似度的思考后,辛頓把話題引向安全。
他提到,今天幾乎所有專家都認(rèn)為會(huì)出現(xiàn)比人類更智能的AI,這些智能體是否會(huì)反過(guò)來(lái)操縱人類?
“簡(jiǎn)單關(guān)閉它們不現(xiàn)實(shí),就像養(yǎng)老虎當(dāng)寵物,養(yǎng)大后可能被其傷害?!?/p>
這是很激進(jìn)的說(shuō)法,但辛頓最近的主要公開(kāi)發(fā)言,都在向人類提出類似警告。
他提出的應(yīng)對(duì)措施是,人類既然無(wú)法消除AI,那就必須找到一種訓(xùn)練AI不消滅人類的方法。他呼吁國(guó)際合作,提出要像人類預(yù)防核戰(zhàn)爭(zhēng)一樣,建立國(guó)際社群來(lái)預(yù)防AI操縱世界,推動(dòng)AI向善。
“我們希望能夠有一個(gè)AI安全機(jī)構(gòu)構(gòu)成的一個(gè)國(guó)際社群來(lái)研究技能,來(lái)培訓(xùn)AI,讓他們向善?!?/p>
在當(dāng)天的WAIC開(kāi)幕式,以及后續(xù)的多個(gè)論壇里,安全被放在最重要的位置討論。而今天你很難找到一個(gè)如此高規(guī)格和關(guān)注度的會(huì)議上,給安全治理如此大篇幅的重視。
辛頓此前在離開(kāi)Google后,開(kāi)始在AI對(duì)人的安全威脅問(wèn)題上不停提出警告。但這種呼吁,有時(shí)候在AI一片高速競(jìng)爭(zhēng)里顯得不合時(shí)宜,尤其硅谷此刻正處在Meta和OpenAI們重新塑造的“Movingfastbreakeverything”文化之下,這樣的聲音被繼續(xù)沖散。
對(duì)于辛頓來(lái)說(shuō),這時(shí)候一個(gè)全球化的,能被更多人認(rèn)真對(duì)待的安全呼吁對(duì)他來(lái)說(shuō)充滿吸引力。一個(gè)愿意花費(fèi)更高規(guī)格更多注意力在AI安全討論上的氛圍,對(duì)他來(lái)說(shuō)也很重要。據(jù)一名了解辛頓此次上海行程的人士透露,他自己也對(duì)參與哪些環(huán)節(jié)有很多想法。主動(dòng)把自己的行程排的很滿。
7月26日下午,當(dāng)辛頓上午的演講和PPT在各種AI群里傳播時(shí),他本人已經(jīng)來(lái)到模速空間旁的西岸美高梅酒店,參加他此次行程里唯一一場(chǎng)公開(kāi)對(duì)話活動(dòng)。
美高梅一樓不大的會(huì)議廳里,隨著辛頓的環(huán)節(jié)臨近,人越來(lái)越多。辛頓并沒(méi)像其他嘉賓提前到場(chǎng),據(jù)透露,他從另一場(chǎng)高級(jí)別閉門(mén)會(huì)議趕過(guò)來(lái),在場(chǎng)的工作人員每隔幾分鐘同步一下他的行程。
在缺席了一天前幾乎同一時(shí)間的見(jiàn)面會(huì)后,5點(diǎn)10分,在一場(chǎng)有三個(gè)院士的圓桌之后,辛頓終于亮相出場(chǎng)。全場(chǎng)起立鼓掌拍照。
在這場(chǎng)和周伯文的對(duì)話里,辛頓提出了更多的想法,也給年輕的科學(xué)家們提出更多建議。
以下是最新出爐的對(duì)話實(shí)錄。在這個(gè)對(duì)話里,辛頓提出了許多充滿智慧的建設(shè)性的提議,它們都需要國(guó)際合作,需要一些更有影響力的牽頭者。也許這也是辛頓此次到來(lái)的原因之一。
周伯文:非常感謝。Jeff,您能親臨現(xiàn)場(chǎng),對(duì)我們所有人來(lái)說(shuō)都是一份真正的榮幸。非常感謝。我想從一個(gè)我們本周早些時(shí)候就該討論的問(wèn)題開(kāi)始,但今天上午在臺(tái)上我們沒(méi)有時(shí)間深入。這個(gè)問(wèn)題是關(guān)于多模態(tài)和前沿模型的主觀體驗(yàn)(subjectiveexperiences)。您認(rèn)為今天的多模態(tài)和前沿模型也能發(fā)展出主觀體驗(yàn)嗎?您能否就其可能性問(wèn)題,展開(kāi)談?wù)勀目捶ǎ?/p>
辛頓:這嚴(yán)格來(lái)說(shuō)與科學(xué)無(wú)關(guān),這是一個(gè)關(guān)于你如何理解“主觀經(jīng)驗(yàn)”、“靈魂”或“意識(shí)”等概念的問(wèn)題。我相信,我們大多數(shù)人持有的模型是深度錯(cuò)誤的。很多人沒(méi)有意識(shí)到,即便你能正確地使用詞語(yǔ),并且擁有一套關(guān)于詞語(yǔ)如何運(yùn)作的理論,這套理論也可能完全是錯(cuò)的,哪怕是對(duì)于日常詞匯。所以,我想舉一個(gè)日常用語(yǔ)的例子,對(duì)于這些詞,你有一套自己的理論,它們看似簡(jiǎn)單直白,但你的理論卻是錯(cuò)的。
你需要接受這樣一種觀點(diǎn):你對(duì)于“工作”、“健康”等詞語(yǔ)真正含義的理論可能是錯(cuò)誤的。我們來(lái)看看“水平(horizontal)”和“垂直(vertical)”這兩個(gè)詞。大多數(shù)人認(rèn)為他們明白這兩個(gè)詞的意思,但他們的理論其實(shí)是不正確的。我會(huì)通過(guò)問(wèn)一個(gè)人們幾乎總是答錯(cuò)的問(wèn)題來(lái)證明這一點(diǎn)。
假設(shè)我把許多小的鋁棒向空中拋撒,它們?cè)诳罩蟹瓭L碰撞。然后我突然凍結(jié)時(shí)間,空中布滿了這些朝向各異的鋁棒。問(wèn)題是:與垂直方向夾角在一度以內(nèi)的鋁棒多,還是與水平方向夾角在一度以內(nèi)的鋁棒多,或者兩者數(shù)量差不多?幾乎所有人都回答“差不多”,這是基于他們對(duì)這兩個(gè)詞的理論。
但他們錯(cuò)得離譜,差距超過(guò)100倍。對(duì)于這些小鋁棒來(lái)說(shuō),處于水平方向一度范圍內(nèi)的數(shù)量,大約是處于垂直方向一度范圍內(nèi)數(shù)量的114倍。原因在于,“垂直”就是這樣(指一個(gè)方向),這也是垂直,僅此而已。但“水平”是這樣,這也是水平,這些都是水平。因此,水平的“桿狀物”遠(yuǎn)比垂直的要多?!按怪薄笔欠浅L厥獾?。
現(xiàn)在換一個(gè)問(wèn)題。我手里有一把鋁制的圓盤(pán),我把它們拋向空中并凍結(jié)時(shí)間。那么,是與垂直方向夾角一度以內(nèi)的圓盤(pán)多,還是與水平方向一度以內(nèi)的多?這次答案反過(guò)來(lái)了,與垂直方向一度以內(nèi)的圓盤(pán)數(shù)量,是水平方向的大約114倍。因?yàn)閷?duì)于一個(gè)圓盤(pán)或一個(gè)平面來(lái)說(shuō),“水平”就是這樣,僅此而已。而“垂直”是這樣,這也是垂直,這些都是垂直。
所以在三維空間里,垂直的“桿”很特殊,而水平的“桿”很普遍;但水平的“面”很特殊,而垂直的“面”卻很普遍。當(dāng)你形成關(guān)于這些詞的理論時(shí),你往往會(huì)取一個(gè)平均化的概念,認(rèn)為水平和垂直差不多,但這完全是錯(cuò)的。它取決于你討論的是線還是面。人們不了解這一點(diǎn),因此會(huì)給出錯(cuò)誤的答案。
這看起來(lái)似乎與意識(shí)問(wèn)題無(wú)關(guān),但并非如此。它說(shuō)明了我們對(duì)于詞語(yǔ)如何運(yùn)作的理論可能是完全錯(cuò)誤的。我的觀點(diǎn)是,幾乎每個(gè)人對(duì)于像“主觀經(jīng)驗(yàn)”這類術(shù)語(yǔ)如何運(yùn)作的理論,都是完全錯(cuò)誤的。他們持有一個(gè)非常頑固但完全錯(cuò)誤的理論。所以這并非一個(gè)真正的科學(xué)問(wèn)題,而是從一個(gè)錯(cuò)誤的心理狀態(tài)模型出發(fā)導(dǎo)致的問(wèn)題?;阱e(cuò)誤模型,你自然會(huì)做出錯(cuò)誤的預(yù)測(cè)。
因此,我的觀點(diǎn)是:目前的多模態(tài)聊天機(jī)器人已經(jīng)具備意識(shí)了。
周伯文:這個(gè)觀點(diǎn)可能會(huì)讓在座的許多研究者感到震驚。但讓我想想,在早些時(shí)候,另一位加拿大科學(xué)家理查德·薩頓(RichardSutton)也發(fā)表了演講,主題是“歡迎來(lái)到經(jīng)驗(yàn)的時(shí)代”。我認(rèn)為他的意思是,當(dāng)人類數(shù)據(jù)耗盡時(shí),模型可以從自身的經(jīng)驗(yàn)中學(xué)習(xí)。而您似乎從另一個(gè)角度點(diǎn)亮了這個(gè)問(wèn)題:智能體或多模態(tài)大模型不僅能從經(jīng)驗(yàn)中學(xué)習(xí),還能發(fā)展出它們自己的主觀經(jīng)驗(yàn)。理查德今天似乎沒(méi)有過(guò)多探討從主觀經(jīng)驗(yàn)中學(xué)習(xí)可能帶來(lái)的風(fēng)險(xiǎn)。您能否就“智能體可以學(xué)習(xí)主觀經(jīng)驗(yàn)”這一事實(shí)或假說(shuō),以及它可能帶來(lái)的潛在風(fēng)險(xiǎn),談?wù)勀目捶ǎ?/p>
辛頓:是的。目前的情況是,像大型語(yǔ)言模型主要是從我們投喂的文檔中學(xué)習(xí)。但一旦你擁有了像機(jī)器人這樣存在于真實(shí)世界中的智能體,它們就能從自己的經(jīng)驗(yàn)中學(xué)習(xí)。我認(rèn)為它們最終學(xué)到的會(huì)比我們多得多。我相信它們將擁有經(jīng)驗(yàn),但“經(jīng)驗(yàn)”不是一個(gè)實(shí)體物件。經(jīng)驗(yàn)不像一張照片,它是一種你與客體之間的關(guān)系。
周伯文:此外,關(guān)于我們可能討論的潛在風(fēng)險(xiǎn),還有幾件事。幾天前和您交流時(shí)您提到,減少未來(lái)AI風(fēng)險(xiǎn)的一個(gè)可能解決方案,是設(shè)法將AI的不同能力分開(kāi)對(duì)待。
辛頓:我其實(shí)不是那個(gè)意思。我的意思是,你將會(huì)有一個(gè)既聰明又不善良的AI。但如何訓(xùn)練它變得聰明和如何訓(xùn)練它變得善良是兩個(gè)不同的問(wèn)題。
所以你可以有讓它變得善良的技術(shù)和讓它變得聰明的技術(shù),這會(huì)是同一個(gè)AI,但使用了不同的技術(shù)。
因此,各個(gè)國(guó)家可以分享使AI變得善良的技術(shù),即使他們不想分享使AI變得聰明的技術(shù)。
周伯文:我對(duì)此有些疑慮。這個(gè)想法的初衷很好,我也很喜歡。但我不確定這條路能走多遠(yuǎn)。您認(rèn)為會(huì)存在一種普適性的、訓(xùn)練AI“善良”的方法,可以應(yīng)用于不同智能水平的AI模型嗎?
辛頓:這是我的希望。它可能無(wú)法實(shí)現(xiàn),但這是一個(gè)值得我們?nèi)ヌ剿鞯目赡苄浴?/p>
周伯文:確實(shí)。但我想用一個(gè)類比來(lái)提出我的疑問(wèn),我提出這個(gè)問(wèn)題是為了激發(fā)更多人對(duì)您提到的方向進(jìn)行研究。我的類比來(lái)自物理學(xué):當(dāng)物體低速運(yùn)動(dòng)時(shí),牛頓定律有效;但當(dāng)物體接近光速時(shí),牛頓定律就不再適用,我們必須求助于愛(ài)因斯坦的理論。
順便說(shuō)一句,這有點(diǎn)奇怪。我在一位諾貝爾物理學(xué)獎(jiǎng)獲得者面前講起了物理101。
辛頓:不,不奇怪。(給我頒獎(jiǎng))是個(gè)錯(cuò)誤。他們就是想要有一個(gè)給AI的諾貝爾獎(jiǎng),然后就把物理獎(jiǎng)拿出來(lái)用了。
周伯文:哈哈。不過(guò)這個(gè)類比或許說(shuō)明,對(duì)于“善良”的約束,可能需要根據(jù)智能系統(tǒng)的不同層級(jí)進(jìn)行調(diào)整和改變。我不知道這是否正確,但我希望在座或在線的聰明的年輕人們能找到實(shí)現(xiàn)它的方法。
辛頓:是的,很有可能隨著決策系統(tǒng)變得越來(lái)越智能,我們讓它保持善良的技術(shù)也需要隨之改變。我們現(xiàn)在還不知道答案,這也是我們需要立刻開(kāi)始研究它的原因之一。
周伯文:您作為一位成就卓著的學(xué)者,卻經(jīng)常說(shuō)“我不知道”,這讓人印象非常深刻。我認(rèn)為這非常坦誠(chéng),并保持了開(kāi)放的心態(tài),這是我們都想向您學(xué)習(xí)的。今天我們這里有一半的參會(huì)者來(lái)自量子物理、生物學(xué)等不同科學(xué)領(lǐng)域。我們之所以聚集于此,是因?yàn)槲覀兿嘈艧o(wú)論是AGI、AI還是AI與科學(xué)的交叉領(lǐng)域,都正迎來(lái)無(wú)盡的前沿機(jī)遇。所以,關(guān)于利用AI推動(dòng)科學(xué)進(jìn)步,或者反過(guò)來(lái)利用科學(xué)助推AI發(fā)展,您有什么想說(shuō)的?
辛頓:我認(rèn)為AI將極大地幫助科學(xué)發(fā)展,這一點(diǎn)非常明確。最令人矚目的例子無(wú)疑是蛋白質(zhì)折疊,DemisHassabis等人通過(guò)明智地運(yùn)用AI并投入巨大努力,極大地提升了預(yù)測(cè)的準(zhǔn)確性。這是一個(gè)早期的標(biāo)志,預(yù)示著AI將在眾多科學(xué)領(lǐng)域帶來(lái)進(jìn)步。您也提到了預(yù)測(cè)臺(tái)風(fēng)登陸點(diǎn)和天氣預(yù)報(bào)的例子,AI的表現(xiàn)已經(jīng)能比最好的傳統(tǒng)物理系統(tǒng)更勝一籌。
周伯文:在您卓越的學(xué)術(shù)生涯中,您不僅推動(dòng)了AI技術(shù)的邊界,也深刻地影響了下一代研究者,比如YoshuaBengio和許多更年輕的后輩。在上海AI實(shí)驗(yàn)室,我們的研究人員平均年齡約為30歲,這清晰地表明AI的未來(lái)屬于年輕一代??粗@些年輕的面孔,您有什么建議想與他們分享,幫助他們更快地成長(zhǎng)嗎?
辛頓:我只有一條建議:如果你想做真正原創(chuàng)性的研究,就應(yīng)該去尋找那些你認(rèn)為“所有人都做錯(cuò)了”的領(lǐng)域。通常,當(dāng)你這么想并開(kāi)始研究自己的方法時(shí),最終你可能會(huì)發(fā)現(xiàn)大家那樣做是有原因的,而你的方法是錯(cuò)的。但關(guān)鍵是,在你親身搞明白它為什么錯(cuò)之前,絕不要放棄。不要因?yàn)槟愕膶?dǎo)師說(shuō)“這個(gè)方法很蠢”就放棄它。忽略導(dǎo)師的建議,堅(jiān)持你所相信的,直到你自己弄懂它錯(cuò)在哪里。
偶爾,你會(huì)發(fā)現(xiàn)自己堅(jiān)持的東西并沒(méi)有錯(cuò),而這正是重大突破的來(lái)源。這些突破從不屬于輕易放棄的人。即便別人都不同意你,你也要堅(jiān)持下去。這背后有一個(gè)簡(jiǎn)單的邏輯:你要么直覺(jué)很好,要么直覺(jué)很差。如果你直覺(jué)很好,顯然應(yīng)該堅(jiān)持它。如果你直覺(jué)很差,那你做什么關(guān)系都不大,所以你同樣應(yīng)該堅(jiān)持你的直覺(jué)。
點(diǎn)個(gè)愛(ài)心,再走吧
圣魔大陸10大坐騎終極排行!皓月三頭撕魔神,永恒王座鎮(zhèn)八荒
當(dāng)星耀獨(dú)角獸的圣光刺破魔云,當(dāng)三頭奇美拉的吐息焚毀山岳——這些坐騎早已不是代步工具,而是改寫(xiě)大陸命運(yùn)的戰(zhàn)爭(zhēng)巨獸。指尖撫過(guò)精金基座戰(zhàn)鎧的裂痕,龍皓晨回望焦土戰(zhàn)場(chǎng),腳下星王的銀鬃飛揚(yáng)如旗。圣魔大陸六千年血淚史,坐騎與騎士的血契,是黑暗紀(jì)元最熾熱的星火。10. 邪眼暴君· 魔神阿難戰(zhàn)力評(píng)分:8.3絕學(xué)解析:猩紅凝視——直 龍皓晨最后成為了永恒與創(chuàng)造之神印騎士,擁有創(chuàng)造萬(wàn)物的能力,這種能力使他在圣魔大陸上已經(jīng)處于實(shí)力的巔峰層次,能夠憑借自身的力量保護(hù)所珍視的一切,守護(hù)圣魔大陸-——。他與擁有毀滅萬(wàn)物能力的天譴之神皓月的實(shí)力結(jié)合,涵蓋了創(chuàng)造與毀滅,觸及到了天道法則的根本,所以從實(shí)力角度來(lái)看龍皓晨即使不成神,也已經(jīng)具備了等同于甚至說(shuō)完了。神印王座:圣魔大陸最特殊的四只魔獸!