允中發(fā)自凹非寺量子位|公眾號(hào)QbitAI
AI圈眾所周知,家族淵源與中國頗深的GeoffreyHinton因?yàn)榛加袊?yán)重的背疾幾乎無法長途旅行,只在去年因?yàn)轭I(lǐng)取諾獎(jiǎng)才勉強(qiáng)“帶傷”飛抵瑞典。所以當(dāng)本周的一張他與上海市領(lǐng)導(dǎo)會(huì)面照片出現(xiàn)在國內(nèi)互聯(lián)網(wǎng)絡(luò)的時(shí)候,立刻引爆了朋友圈——終于可以在中國一睹教父真容。
△圖片來自“上海發(fā)布”
不過Hinton此次的中國上海之行,參與的基本都是閉門以及定向邀請研討,7月26日下午,他與上海人工智能實(shí)驗(yàn)室主任周伯文的對話此次中國行程里的唯一一場面向AI和科學(xué)前沿研究者的公開對話活動(dòng),這也是他中國之行的最后一天,這場濃縮高密度智慧的尖峰對話,將Hinton的上海之行推向新高潮。
77歲的GeoffreyHinton第一次飛越重洋踏上了中國,當(dāng)他步入會(huì)場時(shí),全場起立鼓掌,觀眾們高舉手機(jī)長達(dá)數(shù)分鐘,直播畫面中一度無法看到臺(tái)上的嘉賓。
在17分鐘的對話中,兩位科學(xué)家談及AI多模態(tài)大模型前沿、“主觀體驗(yàn)”和“意識(shí)”、如何訓(xùn)練“善良”的超級(jí)智能、AI與科學(xué)發(fā)現(xiàn),以及給年輕科學(xué)家的建議。
在對話前,周伯文代表上海人工智能實(shí)驗(yàn)室做了《無盡的前沿:AGI與科學(xué)的交叉口》主題演講,他認(rèn)為AGI應(yīng)該具備專業(yè)深度與泛化廣度,并在“通專融合”技術(shù)路線的基礎(chǔ)上提出“SAGE”框架:基礎(chǔ)模型層、融合層以及評估獎(jiǎng)勵(lì)層三層并行、閉環(huán)反哺,使模型在科學(xué)發(fā)現(xiàn)中由“工具”升維為“引擎”。并且發(fā)布了全球領(lǐng)先的科學(xué)多模態(tài)大模型Intern-S1,它具有多學(xué)科、多模態(tài)、深思考能力,多模態(tài)綜合能力超越當(dāng)前最優(yōu)開源模型,多學(xué)科超Grok4等前沿閉源模型。
關(guān)于對話專家
GeoffreyHinton1947年12月6日出生于英國溫布爾登,是英國-加拿大計(jì)算機(jī)科學(xué)家和認(rèn)知心理學(xué)家,因其在人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)領(lǐng)域的開創(chuàng)性工作被譽(yù)為“人工智能之父”。他于1970年在劍橋大學(xué)獲得實(shí)驗(yàn)心理學(xué)學(xué)士學(xué)位,1978年在愛丁堡大學(xué)獲得人工智能博士學(xué)位。他在人工智能領(lǐng)域的貢獻(xiàn)包括1986年與他人共同發(fā)表的反向傳播算法(backpropagation)論文,該算法成為訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。他還開發(fā)了玻爾茲曼機(jī)(BoltzmannMachine)、深度信念網(wǎng)絡(luò)(DeepBeliefNets)等技術(shù),對語音識(shí)別和圖像分類等領(lǐng)域產(chǎn)生了深遠(yuǎn)影響。
2013年至2023年,他在谷歌(GoogleBrain)擔(dān)任副總裁及工程研究員,推動(dòng)了深度學(xué)習(xí)技術(shù)的商業(yè)化應(yīng)用。2023年5月,他因擔(dān)憂人工智能風(fēng)險(xiǎn)辭去谷歌職務(wù),以便更自由地討論相關(guān)問題。其貢獻(xiàn)獲得2018年圖靈獎(jiǎng)(與YoshuaBengio和YannLeCun共同獲得)及2024年諾貝爾物理學(xué)獎(jiǎng)(與JohnHopfield共同獲得)。
辛頓出生于一個(gè)具有深厚學(xué)術(shù)傳統(tǒng)的家庭。他的曾曾祖父喬治·布爾(GeorgeBoole,1815-1864)是著名數(shù)學(xué)家和邏輯學(xué)家,創(chuàng)立了布爾代數(shù),為現(xiàn)代計(jì)算機(jī)科學(xué)奠定了基礎(chǔ)。他的父親霍華德·埃弗里斯特·辛頓(HowardEverestHinton)是一位杰出的昆蟲學(xué)家。他的家族歷史跨越英國、美國、墨西哥和加拿大。
辛頓與中國的重要淵源通過他的姑姑瓊·辛頓(JoanHinton,中文名寒春)。瓊·辛頓是一位核物理學(xué)家,1948年移居中國。她在中國生活多年,嫁給一位中國工程師并養(yǎng)育子女,為辛頓家族與中國建立了深厚的文化和歷史聯(lián)系。這一背景使辛頓的家族故事與中國的科技發(fā)展歷史產(chǎn)生交集。
周伯文,上海人工智能實(shí)驗(yàn)室主任、首席科學(xué)家,清華大學(xué)惠妍講席教授、電子工程系長聘教授,IEEE/CAAIFellow,國家新一代人工智能治理專業(yè)委員會(huì)委員、新一代人工智能發(fā)展研究中心專家委員會(huì)委員,科技創(chuàng)新2030-“新一代人工智能”重大項(xiàng)目首席科學(xué)家。曾任IBMResearch人工智能基礎(chǔ)研究院院長、IBMWatsonGroup首席科學(xué)家、IBM杰出工程師;京東集團(tuán)高級(jí)副總裁、集團(tuán)技術(shù)委員會(huì)主席、云與AI總裁。
周教授在國際一流期刊及頂級(jí)學(xué)術(shù)會(huì)議上已發(fā)表上百篇論文,獲引用數(shù)萬次,其中多篇開拓性論文單篇他引數(shù)千次,在人工智能技術(shù)和產(chǎn)業(yè)界大規(guī)模應(yīng)用核心領(lǐng)域取得杰出成就,有較高的國際影響力。2016年,周教授帶領(lǐng)團(tuán)隊(duì)在國際上首次提出與下游任務(wù)無關(guān)的自注意力與多頭機(jī)制等表征新機(jī)理與新方法,奠定了Transformer架構(gòu)的理論基礎(chǔ)之一,推動(dòng)通用人工智能、語言大模型表征新進(jìn)展,是實(shí)現(xiàn)生成式AI的重要里程碑。周教授其他兩篇生成式AI代表性論文總計(jì)被引5000余次。
以下為對話全文實(shí)錄。
當(dāng)今多模態(tài)聊天機(jī)器人已經(jīng)具有意識(shí)
周伯文:感謝Jeff,您能親臨現(xiàn)場,對我們所有人來說都是一份真切的榮幸。我想從一個(gè)本周早些時(shí)候本該探討的問題開始。這個(gè)問題是關(guān)于多模態(tài)和前沿模型的主觀體驗(yàn)(SubjectiveExperiences)。您認(rèn)為今天的多模態(tài)和前沿模型也能衍生出主觀體驗(yàn)嗎?您能否就其可能性問題,展開談?wù)勀目捶ǎ?/p>
Hinton:這嚴(yán)格來說與科學(xué)無關(guān),這是一個(gè)關(guān)于你如何理解“主觀經(jīng)驗(yàn)”、“靈魂”或“意識(shí)”等概念的問題。我相信,大多數(shù)人持有的想法是深度錯(cuò)誤的。很多人沒有意識(shí)到,即便你能正確地運(yùn)用詞語,并且擁有一套關(guān)于詞語如何運(yùn)作的觀點(diǎn),這套觀點(diǎn)也可能完全是錯(cuò)的,哪怕是對于最常用的詞。我舉一個(gè)最常用詞的例子,對于這些詞,你有一套自己的看法,它們看起來不復(fù)雜,但你的看法卻是錯(cuò)的。
你需要接受這樣一種觀點(diǎn):對于“工作”、“健康”等詞語真正含義的解釋可能是錯(cuò)誤的。讓我們來看看“水平(horizontal)”和“垂直(vertical)”這兩個(gè)詞。大多數(shù)人認(rèn)為他們理解這兩個(gè)詞的意思,但他們的理解其實(shí)是不正確的。我會(huì)通過問一個(gè)人們很少答對的問題來印證這一點(diǎn)。
假設(shè)我把許多小的鋁棒向空中拋散,它們在空中翻滾碰撞。然后我突然讓時(shí)間凝固,空中布滿了這些朝向千差萬別的鋁棒。問題是:與垂直方向夾角在1度以內(nèi)的鋁棒多,還是與水平方向夾角在1度以內(nèi)的鋁棒多,或者兩者數(shù)量接近?幾乎所有人都回答“差不多”,這是基于他們對這兩個(gè)詞的理解。
但他們大錯(cuò)特錯(cuò),差距超過100倍。對于這些小鋁棒來說,處于水平方向一度范圍內(nèi)的數(shù)量,大約是處于垂直方向一度范圍內(nèi)數(shù)量的114倍。原因在于,“垂直”就是這樣(指一個(gè)方向),這也是垂直,僅此一個(gè)方向。但“水平”是這樣,這也是水平,凡圍繞地平面的,都是水平。因此,水平的“桿狀物”遠(yuǎn)比垂直的要多?!按怪薄笔欠浅L厥獾?。
現(xiàn)在換個(gè)問題。我手里有一把鋁制的圓盤,我把它們?nèi)鱿蚩罩胁⒛虝r(shí)間。那么,是與垂直方向夾角1度以內(nèi)的圓盤多,還是與水平方向一度以內(nèi)的多?這次情形逆轉(zhuǎn),與垂直方向1度以內(nèi)的圓盤數(shù)量,是水平方向的大約114倍。因?yàn)閷τ趫A盤或平面來說,“水平”就是這樣,只能如此。而“垂直”是這樣,這也是垂直,任何垂直于地面的面,都算垂直。
所以在三維空間里,垂直的“桿”很特殊,而水平的“桿”很普遍;但水平的“面”很特殊,而垂直的“面”卻很普遍。當(dāng)你形成關(guān)于這些詞的理解時(shí),你常常取一個(gè)平均化的概念,認(rèn)為水平和垂直差不多,但這完全是錯(cuò)的。它取決于你討論的是線還是面。人們不了解這一點(diǎn),因此會(huì)給出錯(cuò)誤的答案。
乍一看似乎與意識(shí)問題無關(guān),但并非如此。它說明了我們對于詞語如何運(yùn)作的見解可能是完全錯(cuò)誤的。我的觀點(diǎn)是,幾乎每個(gè)人對于像“主觀經(jīng)驗(yàn)”這類術(shù)語如何運(yùn)作的認(rèn)識(shí),都是完全錯(cuò)誤的。他們持有一個(gè)非常根深蒂固但完全錯(cuò)誤的理論。所以這并非一個(gè)真正的科學(xué)問題,而是從一個(gè)錯(cuò)誤的心理狀態(tài)模型出發(fā)導(dǎo)致的問題?;阱e(cuò)誤模型,你必會(huì)做出錯(cuò)誤的預(yù)測。
故此,我的觀點(diǎn)是:目前的多模態(tài)聊天機(jī)器人已經(jīng)具備意識(shí)了。
周伯文:這個(gè)觀點(diǎn)可能會(huì)讓在座的許多研究者感到訝異。但讓我想想,在早些時(shí)候,另一位加拿大科學(xué)家理查德·薩頓(RichardSutton)也進(jìn)行了演講,主題是“歡迎來到經(jīng)驗(yàn)的時(shí)代”。
我認(rèn)為他的意思是,當(dāng)人類數(shù)據(jù)耗盡時(shí),模型可以從自身的經(jīng)驗(yàn)中學(xué)習(xí)。而您似乎從另一個(gè)角度闡明了這個(gè)問題:智能體或多模態(tài)大模型不僅能從經(jīng)驗(yàn)中學(xué)習(xí),還能發(fā)展出它們自己的主觀經(jīng)驗(yàn)。理查德今天似乎提及不多從主觀經(jīng)驗(yàn)中學(xué)習(xí)可能帶來的風(fēng)險(xiǎn)。您能否就“智能體可以學(xué)習(xí)主觀經(jīng)驗(yàn)”這一事實(shí)或假說,以及它可能隱藏的潛在風(fēng)險(xiǎn),談?wù)勀目捶ǎ?/p>
Hinton:是的。目前的情況是,像大型語言模型主要是從我們輸入的文檔中學(xué)習(xí)。但一旦你擁有了像機(jī)器人這樣存在于真實(shí)世界中的智能體,它們就能從自己的經(jīng)驗(yàn)中學(xué)習(xí)。我認(rèn)為它們最終學(xué)到的會(huì)比我們格外多。我相信它們將擁有經(jīng)驗(yàn),但“經(jīng)驗(yàn)”不是一個(gè)實(shí)存物。經(jīng)驗(yàn)不像一張照片,它是一種你與客體之間的關(guān)系。
周伯文:此外,關(guān)于我們可能涉及的潛在風(fēng)險(xiǎn),還有幾件事。幾天前和您交流時(shí)您提到,減少未來AI風(fēng)險(xiǎn)的一個(gè)可能解決方案,是設(shè)法將AI的不同能力分別處理。
Hinton:我其實(shí)不是那個(gè)意思。我的意思是,你將會(huì)有一個(gè)既聰明又不善良的AI。但如何訓(xùn)練它變得聰明和如何訓(xùn)練它變得善良是兩個(gè)不同的問題。所以你可以有讓它變得善良的法子和讓它變得聰明的法子,這會(huì)是同一個(gè)AI,但使用了不同的技術(shù)。因此,各個(gè)國家可以分享使AI變得善良的技術(shù),即使他們不想分享使AI變得聰明的技術(shù)。
周伯文:我對此也有些憂慮的。這個(gè)想法的初衷很好,我也很欣賞,但我不確定這條路能走多遠(yuǎn)。您認(rèn)為會(huì)存在一種普適性的、訓(xùn)練AI“善良”的方法,可以應(yīng)用于不同智能水平的AI模型嗎?
Hinton:這是我的希望。它可能無法實(shí)現(xiàn),但這是一個(gè)值得我們?nèi)ド罹康目赡苄浴?/p>
周伯文:確實(shí)。但我想用一個(gè)類比來提出我的疑問,我提出這個(gè)問題是為了刺激更多人對您提到的方向進(jìn)行研究。我的類比來自物理學(xué):當(dāng)物體低速運(yùn)動(dòng)時(shí),牛頓定律有效;但當(dāng)物體接近光速時(shí),牛頓定律就喪失效力,我們必須求助于愛因斯坦的理論。額...順便說一句,我真不敢相信自己正在一位諾貝爾物理學(xué)獎(jiǎng)獲得者面前講大學(xué)物理101!
Hinton:哦不(他們給我頒獎(jiǎng))原本就是個(gè)錯(cuò)誤。其實(shí)他們(組委會(huì))就是想要有一個(gè)給AI的諾貝爾獎(jiǎng),只好就把物理學(xué)獎(jiǎng)借出來用了。
周伯文:哈哈哈他們沒錯(cuò),您絕對值得這項(xiàng)殊榮!
不過這個(gè)類比或許說明,對于“善良”的要求,可能需要根據(jù)智能系統(tǒng)的不同層級(jí)進(jìn)行調(diào)整和改變。我不知道這是否正確,但我希望在座或在線的聰明的年輕人們能找到實(shí)現(xiàn)它的方法。
Hinton:是的,很有可能隨著決策系統(tǒng)變得越來越智能,我們讓它保持善良的技術(shù)也需要相應(yīng)改變。我們現(xiàn)在還不知道答案,這也是我們需要立刻開始研究它的原因之一。
周伯文:您作為一位成就卓著的學(xué)者,卻常常說“我不知道”,這讓人深感佩服。我認(rèn)為這非常坦誠,并保持了開放的態(tài)度,這是我們都想向您學(xué)習(xí)的。今天我們這里有一半的參會(huì)者來自量子物理、細(xì)胞生物學(xué)等不同前沿科學(xué)領(lǐng)域。我們之所以聚集于此,正是因?yàn)槲覀兿嘈艧o論是AGI、AI還是AI與科學(xué)的交叉領(lǐng)域,都正迎來無盡的前沿機(jī)遇。所以,關(guān)于利用AI促進(jìn)科學(xué)進(jìn)步,或者反過來利用科學(xué)驅(qū)動(dòng)AI發(fā)展,您有什么想說的?
Hinton:我認(rèn)為AI將極大地助推科學(xué)發(fā)展,這一點(diǎn)非常明確。最令人矚目的例子莫過于蛋白質(zhì)折疊,DemisHassabis等人通過明智地運(yùn)用AI并投入巨大努力,極大地提升了預(yù)測的準(zhǔn)確性。這是一個(gè)早期的信號(hào),預(yù)示著AI將在眾多科學(xué)領(lǐng)域帶來進(jìn)步。您也提到了預(yù)測臺(tái)風(fēng)登陸點(diǎn)和天氣預(yù)報(bào)的例子,AI的表現(xiàn)已經(jīng)能比最好的傳統(tǒng)物理系統(tǒng)高出一籌。
周伯文:在您卓越的學(xué)術(shù)生涯中,您不僅推動(dòng)了AI技術(shù)的邊界,也深刻地指引了下一代研究者,比如YoshuaBengio和許多更年輕的后輩。在上海AI實(shí)驗(yàn)室,我們的研究人員平均年齡約為30歲,這清晰地表明AI的未來掌握在年輕一代手中??粗@些年輕的面孔,您有什么建議想與他們分享,幫助他們更快地成長嗎?
Hinton:我只有一條建議:如果你想做真正原創(chuàng)性的研究,就應(yīng)該去尋找那些你認(rèn)為“所有人都搞錯(cuò)了”的領(lǐng)域。通常,當(dāng)你抱持這種想法并開始研究自己的方法時(shí),最終你可能會(huì)發(fā)現(xiàn)大家那樣做是有原因的,而你的方法是錯(cuò)的。但關(guān)鍵是,在你親身領(lǐng)悟到它為什么錯(cuò)之前,絕不要放棄。不要因?yàn)槟愕膶?dǎo)師說“這個(gè)方法很蠢”就放棄它。忽略導(dǎo)師的建議,堅(jiān)持你所篤信的,直到你自己弄懂它錯(cuò)在哪里。
偶爾,你會(huì)發(fā)現(xiàn)自己堅(jiān)持的東西并沒有錯(cuò),而這正是重大突破的來源。這些突破從不屬于半途而廢者。即便別人都不同意你,你也要堅(jiān)持下去。這背后有一個(gè)簡單的邏輯:你要么直覺很好,要么直覺很差。如果你直覺很好,顯然應(yīng)該堅(jiān)持它。如果你直覺很差,那你做什么關(guān)系都不大,所以你同樣應(yīng)該堅(jiān)持你的直覺。
周伯文:咱們可以就此暢談一整天,但我知道您需要休息了。最后,請?jiān)趫鏊腥穗S我一同再次感謝Jeff付出的時(shí)間。非常感謝您!
最強(qiáng)醫(yī)仙混都市,美女如云,方川如何坐懷不亂
如果練到極致,他能煉出圣品仙火。跟丹藥一樣,火也分等級(jí),分為凡火、真火、仙火,每一種火,初品凡火,中品凡火,絕品凡火,人品真火,地品真火,天品真火,王品仙火、帝品仙火,最后還有傳說中的圣品仙火。方川在上一世,也只是練出了帝品仙火,就已經(jīng)稱霸仙界的煉丹界_——。所以,很難想象,圣品仙火是何等的可怕!“唉,地球的靈氣實(shí)在太過稀薄等會(huì)說。 《最強(qiáng)醫(yī)仙混都市》作者:五滴風(fēng)油精高能之作《最強(qiáng)醫(yī)仙混都市》,強(qiáng)者的世界,恐怖如斯