重識中歐｜兩個港口的故事：經(jīng)貿(mào)、文化與民心
二次元網(wǎng)友因囤大量「吧唧」深夜中毒送醫(yī)，為啥會這么嚴重？一個健康成年人，大概囤多少「吧唧」會導(dǎo)致中毒？
王兆洋｜wangzhaoyang@pingwest.com董道力｜dongdaoli@pingwest.com
諾貝爾物理學(xué)獎獲得者，被稱為人工智能教父之一的杰弗里·辛頓，只能站著。
他的腰傷是老毛病，平躺或者站立，卻不能久坐。這在人工智能圈里是人們熟知的，但耐不住AI的出圈，讓這件事有了些小風(fēng)波。
2025年7月26日，上海人工智能大會正式開幕，新晉諾貝爾獎得主的辛頓第一次來到了中國。而據(jù)接近行程安排的人透露，這也是辛頓多年來第一次長途國際旅行。而作為今天少有的身份獨立但影響力巨大的AI科學(xué)家，辛頓的行程自然緊張。
其實7月22日他便已抵達上海，此行重要目的之一，是探討AI欺騙性行為帶來的關(guān)鍵風(fēng)險，這是“AI安全國際對話”（InternationalDialoguesonAISafety-IDAIS）系列的一部分，這個會議由上海期智研究院，AI安全國際論壇（SAIF），和上海人工智能實驗室主辦。
一整個周末，他在會場和多位科學(xué)家一起討論，包括圖靈獎得主及上海期智研究院院長姚期智教授、加州大學(xué)伯克利分校教授StuartRussell、上海人工智能實驗室主任周伯文教授等科學(xué)家，最終一起提出了AI安全的“上海共識”。
7月25日晚些時候，原本辛頓計劃出現(xiàn)在最終的發(fā)布會上，一眾媒體也為此而來，然而辛頓最終并沒有現(xiàn)身。姚期智和一眾科學(xué)家一起發(fā)布了此次倡導(dǎo)國際合作的上海共識。在這個辛頓深度參與的共識里，對于新近出現(xiàn)的關(guān)于人工智能欺騙行為的實證證據(jù)，并提出了應(yīng)對策略，呼吁采取三項關(guān)鍵行動：
第一，要求前沿人工智能開發(fā)者提供安全保障。提出開發(fā)者在模型部署前應(yīng)先進行全面的內(nèi)部檢查和第三方評估，開展深入的模擬攻防與紅隊測試。若模型達到了關(guān)鍵能力閾值（比如檢測模型是否有具備幫助沒有專業(yè)知識的非法分子制造生化武器的能力），開發(fā)者應(yīng)向政府等說明潛在風(fēng)險。
第二，通過加強國際協(xié)調(diào),共同確立并恪守可驗證的全球性行為紅線。國際社會需要合作劃出人工智能開發(fā)不可以逾越的紅線，并應(yīng)建立一個具備技術(shù)能力、具有國際包容性的協(xié)調(diào)機構(gòu)，匯聚各國人工智能安全主管機構(gòu)，以共享風(fēng)險相關(guān)信息，并推動評估規(guī)程與驗證方法的標準化。
第三，對保障安全性的開發(fā)方式進行投資，科學(xué)界和開發(fā)者應(yīng)投入一系列嚴格機制來保障人工智能系統(tǒng)的安全性。長期需要化被動為主動，構(gòu)建基于“設(shè)計即安全”的人工智能系統(tǒng)。
這次會議的主要參會者合影留念時，辛頓獨自站在后面。這張照片在社交媒體上引發(fā)了討論：“為什么他沒有座位?！?/p>
7月26日早上，在上海人工智能大會的正式開幕式上，辛頓又上臺做了演講。PPT一左一右中英文對照。
在討論了諸多對AI與人類行為相似度的思考后，辛頓把話題引向安全。
他提到，今天幾乎所有專家都認為會出現(xiàn)比人類更智能的AI，這些智能體是否會反過來操縱人類？
“簡單關(guān)閉它們不現(xiàn)實，就像養(yǎng)老虎當寵物，養(yǎng)大后可能被其傷害?！?/p>
這是很激進的說法，但辛頓最近的主要公開發(fā)言，都在向人類提出類似警告。
他提出的應(yīng)對措施是，人類既然無法消除AI，那就必須找到一種訓(xùn)練AI不消滅人類的方法。他呼吁國際合作，提出要像人類預(yù)防核戰(zhàn)爭一樣，建立國際社群來預(yù)防AI操縱世界，推動AI向善。
“我們希望能夠有一個AI安全機構(gòu)構(gòu)成的一個國際社群來研究技能，來培訓(xùn)AI，讓他們向善?！?/p>
在當天的WAIC開幕式，以及后續(xù)的多個論壇里，安全被放在最重要的位置討論。而今天你很難找到一個如此高規(guī)格和關(guān)注度的會議上，給安全治理如此大篇幅的重視。
辛頓此前在離開Google后，開始在AI對人的安全威脅問題上不停提出警告。但這種呼吁，有時候在AI一片高速競爭里顯得不合時宜，尤其硅谷此刻正處在Meta和OpenAI們重新塑造的“Movingfastbreakeverything”文化之下，這樣的聲音被繼續(xù)沖散。
對于辛頓來說，這時候一個全球化的，能被更多人認真對待的安全呼吁對他來說充滿吸引力。一個愿意花費更高規(guī)格更多注意力在AI安全討論上的氛圍，對他來說也很重要。據(jù)一名了解辛頓此次上海行程的人士透露，他自己也對參與哪些環(huán)節(jié)有很多想法。主動把自己的行程排的很滿。
7月26日下午，當辛頓上午的演講和PPT在各種AI群里傳播時，他本人已經(jīng)來到模速空間旁的西岸美高梅酒店，參加他此次行程里唯一一場公開對話活動。
美高梅一樓不大的會議廳里，隨著辛頓的環(huán)節(jié)臨近，人越來越多。辛頓并沒像其他嘉賓提前到場，據(jù)透露，他從另一場高級別閉門會議趕過來，在場的工作人員每隔幾分鐘同步一下他的行程。
在缺席了一天前幾乎同一時間的見面會后，5點10分，在一場有三個院士的圓桌之后，辛頓終于亮相出場。全場起立鼓掌拍照。
在這場和周伯文的對話里，辛頓提出了更多的想法，也給年輕的科學(xué)家們提出更多建議。
以下是最新出爐的對話實錄。在這個對話里，辛頓提出了許多充滿智慧的建設(shè)性的提議，它們都需要國際合作，需要一些更有影響力的牽頭者。也許這也是辛頓此次到來的原因之一。
周伯文:非常感謝。Jeff，您能親臨現(xiàn)場，對我們所有人來說都是一份真正的榮幸。非常感謝。我想從一個我們本周早些時候就該討論的問題開始，但今天上午在臺上我們沒有時間深入。這個問題是關(guān)于多模態(tài)和前沿模型的主觀體驗（subjectiveexperiences）。您認為今天的多模態(tài)和前沿模型也能發(fā)展出主觀體驗嗎？您能否就其可能性問題，展開談?wù)勀目捶ǎ?/p>
辛頓：這嚴格來說與科學(xué)無關(guān)，這是一個關(guān)于你如何理解“主觀經(jīng)驗”、“靈魂”或“意識”等概念的問題。我相信，我們大多數(shù)人持有的模型是深度錯誤的。很多人沒有意識到，即便你能正確地使用詞語，并且擁有一套關(guān)于詞語如何運作的理論，這套理論也可能完全是錯的，哪怕是對于日常詞匯。所以，我想舉一個日常用語的例子，對于這些詞，你有一套自己的理論，它們看似簡單直白，但你的理論卻是錯的。
你需要接受這樣一種觀點：你對于“工作”、“健康”等詞語真正含義的理論可能是錯誤的。我們來看看“水平（horizontal）”和“垂直（vertical）”這兩個詞。大多數(shù)人認為他們明白這兩個詞的意思，但他們的理論其實是不正確的。我會通過問一個人們幾乎總是答錯的問題來證明這一點。
假設(shè)我把許多小的鋁棒向空中拋撒，它們在空中翻滾碰撞。然后我突然凍結(jié)時間，空中布滿了這些朝向各異的鋁棒。問題是：與垂直方向夾角在一度以內(nèi)的鋁棒多，還是與水平方向夾角在一度以內(nèi)的鋁棒多，或者兩者數(shù)量差不多？幾乎所有人都回答“差不多”，這是基于他們對這兩個詞的理論。
但他們錯得離譜，差距超過100倍。對于這些小鋁棒來說，處于水平方向一度范圍內(nèi)的數(shù)量，大約是處于垂直方向一度范圍內(nèi)數(shù)量的114倍。原因在于，“垂直”就是這樣（指一個方向），這也是垂直，僅此而已。但“水平”是這樣，這也是水平，這些都是水平。因此，水平的“桿狀物”遠比垂直的要多?！按怪薄笔欠浅Ｌ厥獾摹?/p>
現(xiàn)在換一個問題。我手里有一把鋁制的圓盤，我把它們拋向空中并凍結(jié)時間。那么，是與垂直方向夾角一度以內(nèi)的圓盤多，還是與水平方向一度以內(nèi)的多？這次答案反過來了，與垂直方向一度以內(nèi)的圓盤數(shù)量，是水平方向的大約114倍。因為對于一個圓盤或一個平面來說，“水平”就是這樣，僅此而已。而“垂直”是這樣，這也是垂直，這些都是垂直。
所以在三維空間里，垂直的“桿”很特殊，而水平的“桿”很普遍；但水平的“面”很特殊，而垂直的“面”卻很普遍。當你形成關(guān)于這些詞的理論時，你往往會取一個平均化的概念，認為水平和垂直差不多，但這完全是錯的。它取決于你討論的是線還是面。人們不了解這一點，因此會給出錯誤的答案。
這看起來似乎與意識問題無關(guān)，但并非如此。它說明了我們對于詞語如何運作的理論可能是完全錯誤的。我的觀點是，幾乎每個人對于像“主觀經(jīng)驗”這類術(shù)語如何運作的理論，都是完全錯誤的。他們持有一個非常頑固但完全錯誤的理論。所以這并非一個真正的科學(xué)問題，而是從一個錯誤的心理狀態(tài)模型出發(fā)導(dǎo)致的問題。基于錯誤模型，你自然會做出錯誤的預(yù)測。
因此，我的觀點是：目前的多模態(tài)聊天機器人已經(jīng)具備意識了。
周伯文：這個觀點可能會讓在座的許多研究者感到震驚。但讓我想想，在早些時候，另一位加拿大科學(xué)家理查德·薩頓（RichardSutton）也發(fā)表了演講，主題是“歡迎來到經(jīng)驗的時代”。我認為他的意思是，當人類數(shù)據(jù)耗盡時，模型可以從自身的經(jīng)驗中學(xué)習(xí)。而您似乎從另一個角度點亮了這個問題：智能體或多模態(tài)大模型不僅能從經(jīng)驗中學(xué)習(xí)，還能發(fā)展出它們自己的主觀經(jīng)驗。理查德今天似乎沒有過多探討從主觀經(jīng)驗中學(xué)習(xí)可能帶來的風(fēng)險。您能否就“智能體可以學(xué)習(xí)主觀經(jīng)驗”這一事實或假說，以及它可能帶來的潛在風(fēng)險，談?wù)勀目捶ǎ?/p>
辛頓：是的。目前的情況是，像大型語言模型主要是從我們投喂的文檔中學(xué)習(xí)。但一旦你擁有了像機器人這樣存在于真實世界中的智能體，它們就能從自己的經(jīng)驗中學(xué)習(xí)。我認為它們最終學(xué)到的會比我們多得多。我相信它們將擁有經(jīng)驗，但“經(jīng)驗”不是一個實體物件。經(jīng)驗不像一張照片，它是一種你與客體之間的關(guān)系。
周伯文:此外，關(guān)于我們可能討論的潛在風(fēng)險，還有幾件事。幾天前和您交流時您提到，減少未來AI風(fēng)險的一個可能解決方案，是設(shè)法將AI的不同能力分開對待。
辛頓：我其實不是那個意思。我的意思是，你將會有一個既聰明又不善良的AI。但如何訓(xùn)練它變得聰明和如何訓(xùn)練它變得善良是兩個不同的問題。
所以你可以有讓它變得善良的技術(shù)和讓它變得聰明的技術(shù)，這會是同一個AI，但使用了不同的技術(shù)。
因此，各個國家可以分享使AI變得善良的技術(shù)，即使他們不想分享使AI變得聰明的技術(shù)。
周伯文：我對此有些疑慮。這個想法的初衷很好，我也很喜歡。但我不確定這條路能走多遠。您認為會存在一種普適性的、訓(xùn)練AI“善良”的方法，可以應(yīng)用于不同智能水平的AI模型嗎？
辛頓:這是我的希望。它可能無法實現(xiàn)，但這是一個值得我們?nèi)ヌ剿鞯目赡苄浴?/p>
周伯文:確實。但我想用一個類比來提出我的疑問，我提出這個問題是為了激發(fā)更多人對您提到的方向進行研究。我的類比來自物理學(xué)：當物體低速運動時，牛頓定律有效；但當物體接近光速時，牛頓定律就不再適用，我們必須求助于愛因斯坦的理論。
順便說一句，這有點奇怪。我在一位諾貝爾物理學(xué)獎獲得者面前講起了物理101。
辛頓：不，不奇怪。（給我頒獎）是個錯誤。他們就是想要有一個給AI的諾貝爾獎，然后就把物理獎拿出來用了。
周伯文:哈哈。不過這個類比或許說明，對于“善良”的約束，可能需要根據(jù)智能系統(tǒng)的不同層級進行調(diào)整和改變。我不知道這是否正確，但我希望在座或在線的聰明的年輕人們能找到實現(xiàn)它的方法。
辛頓:是的，很有可能隨著決策系統(tǒng)變得越來越智能，我們讓它保持善良的技術(shù)也需要隨之改變。我們現(xiàn)在還不知道答案，這也是我們需要立刻開始研究它的原因之一。
周伯文:您作為一位成就卓著的學(xué)者，卻經(jīng)常說“我不知道”，這讓人印象非常深刻。我認為這非常坦誠，并保持了開放的心態(tài)，這是我們都想向您學(xué)習(xí)的。今天我們這里有一半的參會者來自量子物理、生物學(xué)等不同科學(xué)領(lǐng)域。我們之所以聚集于此，是因為我們相信無論是AGI、AI還是AI與科學(xué)的交叉領(lǐng)域，都正迎來無盡的前沿機遇。所以，關(guān)于利用AI推動科學(xué)進步，或者反過來利用科學(xué)助推AI發(fā)展，您有什么想說的？
辛頓：我認為AI將極大地幫助科學(xué)發(fā)展，這一點非常明確。最令人矚目的例子無疑是蛋白質(zhì)折疊，DemisHassabis等人通過明智地運用AI并投入巨大努力，極大地提升了預(yù)測的準確性。這是一個早期的標志，預(yù)示著AI將在眾多科學(xué)領(lǐng)域帶來進步。您也提到了預(yù)測臺風(fēng)登陸點和天氣預(yù)報的例子，AI的表現(xiàn)已經(jīng)能比最好的傳統(tǒng)物理系統(tǒng)更勝一籌。
周伯文：在您卓越的學(xué)術(shù)生涯中，您不僅推動了AI技術(shù)的邊界，也深刻地影響了下一代研究者，比如YoshuaBengio和許多更年輕的后輩。在上海AI實驗室，我們的研究人員平均年齡約為30歲，這清晰地表明AI的未來屬于年輕一代?？粗@些年輕的面孔，您有什么建議想與他們分享，幫助他們更快地成長嗎？
辛頓:我只有一條建議：如果你想做真正原創(chuàng)性的研究，就應(yīng)該去尋找那些你認為“所有人都做錯了”的領(lǐng)域。通常，當你這么想并開始研究自己的方法時，最終你可能會發(fā)現(xiàn)大家那樣做是有原因的，而你的方法是錯的。但關(guān)鍵是，在你親身搞明白它為什么錯之前，絕不要放棄。不要因為你的導(dǎo)師說“這個方法很蠢”就放棄它。忽略導(dǎo)師的建議，堅持你所相信的，直到你自己弄懂它錯在哪里。
偶爾，你會發(fā)現(xiàn)自己堅持的東西并沒有錯，而這正是重大突破的來源。這些突破從不屬于輕易放棄的人。即便別人都不同意你，你也要堅持下去。這背后有一個簡單的邏輯：你要么直覺很好，要么直覺很差。如果你直覺很好，顯然應(yīng)該堅持它。如果你直覺很差，那你做什么關(guān)系都不大，所以你同樣應(yīng)該堅持你的直覺。
點個愛心，再走吧
神級教練!讓半個LPL饞得不行,JDG紅米憑啥這么受歡迎?
雙方教練博弈!卡萊爾神級調(diào)整,戴格諾特遺憾落敗
S10:知名教練神級預(yù)言TES大戰(zhàn)FNC,網(wǎng)友:TES成功搶了SN頭條?？獵游...
