文|王方玉
編輯|蘇建勛
7月26號(hào),世界人工智能大會(huì)WAIC的開幕主論壇上,多位AI行業(yè)的頂級(jí)大咖出席并發(fā)表演講,為與會(huì)者烹飪了一道學(xué)術(shù)大餐。
“深度學(xué)習(xí)教父”、圖靈獎(jiǎng)、諾貝爾獎(jiǎng)得主杰弗里·辛頓(GeoffreyHinton)是最受關(guān)注的演講者,他真人出席,發(fā)表了名為《數(shù)字智能是否會(huì)取代生物智能?》的演講。這也是他在中國(guó)的首次公開演講。
大會(huì)前夕,辛頓和全球20位人工智能領(lǐng)域的頂級(jí)專家,剛剛在上海簽完人工智能安全的“上海共識(shí)”。他的大會(huì)發(fā)言,同樣也圍繞人工智能安全為核心。
辛頓首先回顧了從早期模型到現(xiàn)代大語(yǔ)言模型的發(fā)展歷程,并指出大語(yǔ)言模型已經(jīng)實(shí)現(xiàn)了對(duì)語(yǔ)言理解的深度模仿,這與人類理解語(yǔ)言的方式是相似的。
但不同的是,AI系統(tǒng)具有“永生性”,且機(jī)器之間知識(shí)的復(fù)制可以在極大規(guī)模下進(jìn)行,實(shí)現(xiàn)指數(shù)級(jí)的知識(shí)轉(zhuǎn)移。因此AI的能力正在快速增長(zhǎng)。
他由此提出疑問(wèn),如果未來(lái)AI比人更智能會(huì)怎么樣?“如果AI足夠聰明,它會(huì)通過(guò)操縱人類、獲得控制權(quán)等方式來(lái)避免被關(guān)閉?!?/p>
因此,辛頓警示了人工智能超越人類智能的可能性及其帶來(lái)的風(fēng)險(xiǎn)?!皬拈L(zhǎng)遠(yuǎn)來(lái)看,這是人類面臨的最重要問(wèn)題之一?!?/p>
辛頓提醒,AI可能發(fā)展出比人類更高級(jí)的智能,這將改變?nèi)祟愖鳛樽钪悄苌锏牡匚?。AI智能體可能追求生存和控制力,這可能導(dǎo)致它們操縱人類,就像成年人操縱三歲孩童一樣。因此,人類必須找到方法來(lái)訓(xùn)練AI,確保其不會(huì)對(duì)人類構(gòu)成威脅。
與辛頓的發(fā)言主題不同,作為AI創(chuàng)業(yè)者,MINIMAX創(chuàng)始人、首席執(zhí)行官閆俊杰的發(fā)言更多圍繞AI大模型的實(shí)踐和落地,主題是《每個(gè)人的人工智能》。
閆俊杰以AI在數(shù)據(jù)分析、信息追蹤、創(chuàng)意設(shè)計(jì)及視頻制作等方面的高效應(yīng)用舉例,指出了人工智能不僅是一種強(qiáng)大的生產(chǎn)力,也是對(duì)個(gè)人能力和社會(huì)能力的一個(gè)持續(xù)增強(qiáng),并且未來(lái)AI大模型成本將越來(lái)越低,能力越來(lái)越強(qiáng)。
他判斷,AI大模型不會(huì)被一家或者多家組織壟斷。未來(lái)AGI一定會(huì)實(shí)現(xiàn),并且將會(huì)是服務(wù)大眾、普惠大眾的一件事。
“如果有一天AGI實(shí)現(xiàn)了,我認(rèn)為實(shí)現(xiàn)過(guò)程一定是需要AI公司和它的用戶一起來(lái)實(shí)現(xiàn)的。并且AI模型或者AGI(的所有權(quán))應(yīng)該屬于AI公司和它的廣泛用戶,而不是只屬于單個(gè)組織某家公司?!?/p>
以下是經(jīng)智能涌現(xiàn)編輯的嘉賓發(fā)言實(shí)錄:
諾貝爾獎(jiǎng)、圖靈獎(jiǎng)得主、多倫多大學(xué)計(jì)算機(jī)科學(xué)名譽(yù)教授GeoffreyHinton:數(shù)字智能是否會(huì)取代生物智能?
從大約60年前開始,AI就發(fā)展出了兩種不同的范式。一種是「符號(hào)主義」路徑,強(qiáng)調(diào)邏輯推理的能力。我們通過(guò)規(guī)則操作符號(hào)來(lái)進(jìn)行推理,這種方式可以幫助我們理解知識(shí)是如何被表達(dá)與處理的。這類AI模型的基礎(chǔ)是對(duì)符號(hào)的處理,被認(rèn)為更符合邏輯智能的本質(zhì)。
另一種路徑則以生物智能為基礎(chǔ),是圖靈與馮·諾依曼更傾向相信的方式。他們認(rèn)為智能的本質(zhì)在于從神經(jīng)連接中學(xué)習(xí),在于速度、結(jié)構(gòu)和連接模式的改變。這種「連接主義」強(qiáng)調(diào)的是學(xué)習(xí)與適應(yīng),而非顯式的邏輯規(guī)則。
1985年,我曾構(gòu)建過(guò)一個(gè)非常小的模型,試圖將這兩種理論結(jié)合起來(lái)。我的想法是:每一個(gè)詞都可以由多個(gè)特征(features)表示,而這些特征之間可以被用來(lái)預(yù)測(cè)下一個(gè)詞。這個(gè)模型不存儲(chǔ)完整的句子,而是通過(guò)生成語(yǔ)言來(lái)學(xué)習(xí)詞匯之間的關(guān)系。
這種方式強(qiáng)調(diào)語(yǔ)言中的「語(yǔ)義特征」——也就是說(shuō),我們并不是僅僅靠規(guī)則,而是通過(guò)「理解」詞匯的語(yǔ)義來(lái)進(jìn)行預(yù)測(cè)。這為后來(lái)計(jì)算語(yǔ)言學(xué)界接受特征表示打下了基礎(chǔ)。二十年后,這種思想得到了進(jìn)一步發(fā)展,例如被用于構(gòu)建更大規(guī)模的自然語(yǔ)言處理系統(tǒng)。
如果問(wèn)未來(lái)30年會(huì)發(fā)生什么,從發(fā)展軌跡能看到一些趨勢(shì)。十年后,有人沿用這種建模模式,但將規(guī)模大幅擴(kuò)大,使其成為自然語(yǔ)言的真實(shí)模擬。20年后,計(jì)算語(yǔ)言學(xué)家開始接受用特征向量嵌入來(lái)表達(dá)語(yǔ)義。又過(guò)了30年,谷歌發(fā)明了Transformer,OpenAI的研究人員也向人們展示了它的能力。
所以我認(rèn)為,如今的大語(yǔ)言模型就是我當(dāng)年微型語(yǔ)言模型的“后代”。它們使用更多詞作為輸入,采用更多層的神經(jīng)元結(jié)構(gòu),由于需要處理大量模糊數(shù)字,學(xué)習(xí)特征之間也建立了更復(fù)雜的交互模式。但和我做的小模型一樣,大語(yǔ)言模型理解語(yǔ)言的方式與人類相似——基本邏輯是將語(yǔ)言轉(zhuǎn)化為特征,再以完美的方式整合這些特征,這正是大語(yǔ)言模型各層級(jí)所做的工作。因此我認(rèn)為,大語(yǔ)言模型和人類理解語(yǔ)言的方式相同。
用樂(lè)高積木來(lái)打比方或許能更好地解釋“理解一句話”的含義。符號(hào)型AI是將內(nèi)容轉(zhuǎn)化為清晰的符號(hào),但人類并非如此理解。樂(lè)高積木能拼出任何3D造型,比如小車模型。如果把每個(gè)詞看作多維度的樂(lè)高積木(可能有幾千個(gè)維度),語(yǔ)言就成了一種建模工具,能隨時(shí)與人溝通,只要給這些“積木”命名——每個(gè)“積木”就是一個(gè)詞。
不過(guò),詞和樂(lè)高積木有很多不同:詞的符號(hào)形態(tài)可根據(jù)情況調(diào)整,而樂(lè)高積木造型固定;樂(lè)高積木的拼接是固定的(比如正方形積木插入正方形孔洞),但語(yǔ)言中每個(gè)詞仿佛有多個(gè)“手臂”,要通過(guò)合適的“握手”方式與其他詞互動(dòng),詞的“造型”變化,“握手”方式也會(huì)改變。
當(dāng)一個(gè)詞的“造型”(即意思)改變,它與下一個(gè)詞的“握手”方式就會(huì)不同,進(jìn)而產(chǎn)生新的含義。這就是人腦或神經(jīng)網(wǎng)絡(luò)理解語(yǔ)義的根本邏輯,類似蛋白質(zhì)通過(guò)氨基酸的不同組合形成有意義的結(jié)構(gòu)。
所以我認(rèn)為,人類理解語(yǔ)言的方式與大語(yǔ)言模型幾乎一致,人類甚至可能和大語(yǔ)言模型一樣產(chǎn)生“幻覺(jué)”,因?yàn)槲覀円矔?huì)創(chuàng)造出一些虛構(gòu)的表達(dá)。
圖源:企業(yè)授權(quán)
軟件中的知識(shí)是永恒的,即便存儲(chǔ)LLM的硬件被摧毀,只要軟件存在,就能隨時(shí)“復(fù)活”。但要實(shí)現(xiàn)這種“永生”,晶體管需在高功率下運(yùn)行以產(chǎn)生可靠的二進(jìn)制行為,這個(gè)過(guò)程成本很高,且無(wú)法利用硬件中不穩(wěn)定的類似特性——它們是模擬型的,每次計(jì)算結(jié)果都不同。人腦也是模擬型而非數(shù)字型的,神經(jīng)元每次激發(fā)的過(guò)程都一樣,但每個(gè)人的神經(jīng)元連接方式不同,我無(wú)法將自己的神經(jīng)結(jié)構(gòu)轉(zhuǎn)移到他人腦中,這就導(dǎo)致知識(shí)在人腦間的傳播效率遠(yuǎn)低于在硬件中的傳播。
軟件與硬件無(wú)關(guān),因此能“永生”,還能帶來(lái)低功耗優(yōu)勢(shì)——人腦只需30瓦特就能運(yùn)轉(zhuǎn)。我們的神經(jīng)元連接達(dá)數(shù)萬(wàn)億個(gè),無(wú)需花費(fèi)大量資金制造完全相同的硬件。但問(wèn)題在于,模擬模型間的知識(shí)轉(zhuǎn)移效率極低,我無(wú)法直接將腦中的知識(shí)展示給他人。
Deepseek的做法是將大神經(jīng)網(wǎng)絡(luò)的知識(shí)轉(zhuǎn)移到小神經(jīng)網(wǎng)絡(luò)中,即“蒸餾”,類似教師與學(xué)生的關(guān)系:教師將詞語(yǔ)在上下文中的關(guān)聯(lián)教給學(xué)生,學(xué)生通過(guò)調(diào)整權(quán)重學(xué)會(huì)表達(dá)。但這種方式效率很低,一句話通常只有100個(gè)比特的信息,即便全被理解,每秒最多也只能傳遞約100個(gè)比特。
而數(shù)字智能間的知識(shí)轉(zhuǎn)移效率極高,同一神經(jīng)網(wǎng)絡(luò)軟件的多個(gè)拷貝在不同硬件上運(yùn)行時(shí),能通過(guò)平均化比特的方式分享知識(shí)。如果智能體在現(xiàn)實(shí)世界中運(yùn)行,這種優(yōu)勢(shì)更明顯——它們能不斷加速、拷貝,多個(gè)智能體比單個(gè)智能體學(xué)得更多,還能分享權(quán)重,這是模擬硬件或軟件做不到的。
生物計(jì)算功耗低,但知識(shí)分享難。如果能源和計(jì)算成本低廉,情況會(huì)好很多,但這也讓我感到擔(dān)憂——幾乎所有專家都認(rèn)為,我們會(huì)創(chuàng)造出比人類更智能的AI。人類習(xí)慣了作為最智能的生物,很難想象AI超越人類的場(chǎng)景。其實(shí)可以換個(gè)角度:就像養(yǎng)雞場(chǎng)的雞無(wú)法理解人類一樣,我們創(chuàng)造的AI智能體已能幫我們完成任務(wù),它們能拷貝自身、評(píng)估子目標(biāo),還會(huì)為了生存和完成目標(biāo)而尋求更多控制權(quán)。
有人認(rèn)為可以在AI變得過(guò)強(qiáng)時(shí)關(guān)掉它們,但這并不現(xiàn)實(shí)。它們可能會(huì)像成年人操縱3歲孩子一樣操縱人類,勸說(shuō)控制機(jī)器的人不要關(guān)閉它們。這就像把老虎當(dāng)寵物,幼虎很可愛(ài),但長(zhǎng)大后可能傷人,而養(yǎng)老虎當(dāng)寵物通常不是好主意。
面對(duì)AI,我們只有兩個(gè)選擇:要么訓(xùn)練它永遠(yuǎn)不傷害人類,要么“消滅”它。但AI在醫(yī)療、教育、氣候變化、新材料等領(lǐng)域作用巨大,能提升所有行業(yè)的效率,我們無(wú)法消除它——即便一個(gè)國(guó)家放棄AI,其他國(guó)家也不會(huì)。因此,若想讓人類生存,必須找到訓(xùn)練AI不傷害人類的方法。
我個(gè)人認(rèn)為,各國(guó)在網(wǎng)絡(luò)攻擊、致命武器、虛假信息操縱等領(lǐng)域的合作難度較大,因利益和看法不同。但在“人類掌控世界”這一目標(biāo)上,各國(guó)存在共識(shí):若有國(guó)家找到防止AI操控世界的方法,一定會(huì)愿意分享。因此我提議,全球主要國(guó)家或AI大國(guó)應(yīng)建立一個(gè)由AI安全機(jī)構(gòu)組成的國(guó)際社群,研究如何訓(xùn)練高智能AI向善——這與訓(xùn)練AI變得聰明的技術(shù)不同。各國(guó)可在自身主權(quán)范圍內(nèi)研究,再分享成果。盡管目前還不知道具體怎么做,但這是人類長(zhǎng)期面臨的最重要問(wèn)題,且所有國(guó)家都能在此領(lǐng)域合作。
MINIMAX創(chuàng)始人、首席執(zhí)行閆俊杰:每個(gè)人的人工智能
大家好,我給大家分享的題目是《每個(gè)人的AI,Everyone’sAI》。講這個(gè)題目,跟我個(gè)人過(guò)去經(jīng)歷有關(guān)。當(dāng)Hinton先生開始設(shè)計(jì)AlexNet之時(shí),我是國(guó)內(nèi)第一批從事深度學(xué)習(xí)研究的博士生;當(dāng)AlphaGo人機(jī)大戰(zhàn)上演,也是人工智能走進(jìn)所有人視野之時(shí),我在參與一家創(chuàng)業(yè)公司;而當(dāng)ChatGPT出來(lái)的前一年,我們開始創(chuàng)立MiniMax,也是國(guó)內(nèi)第一批大模型公司。
在過(guò)去的15年里,當(dāng)我每天面對(duì)任務(wù)寫代碼,看論文做實(shí)驗(yàn)的時(shí)候,一直都在想一件事:如此受關(guān)注的人工智能到底是什么?人工智能跟這個(gè)社會(huì)到底有什么樣的聯(lián)系?
隨著我們模型變得越來(lái)越好,我們發(fā)現(xiàn)人工智能正逐步成為社會(huì)的生產(chǎn)力。比如,我們?cè)谧鋈斯ぶ悄苎芯康臅r(shí)候,每天需要分析大量的數(shù)據(jù),一開始我們需要來(lái)寫一些軟件來(lái)分析這些數(shù)據(jù),后續(xù)我們發(fā)現(xiàn)其實(shí)可以讓AI來(lái)生成一個(gè)軟件,來(lái)幫助分析所有數(shù)據(jù)。作為一個(gè)研究員,我非常關(guān)心每天AI領(lǐng)域的所有進(jìn)展,一開始我們?cè)O(shè)想,是不是可以做一款A(yù)PP,來(lái)幫我們追蹤各領(lǐng)域的進(jìn)展?后面我們發(fā)現(xiàn),這件事也不需要自己來(lái)做,讓一個(gè)AIAgent來(lái)自動(dòng)跟蹤更加高效。
AI是更強(qiáng)的生產(chǎn)力,也是越來(lái)越強(qiáng)的創(chuàng)意。比如,15年前上海舉辦世博會(huì)的時(shí)候,有一個(gè)非?;鸨募槲锝小昂殹?。過(guò)去15年,上海有了全方位的發(fā)展,我們?nèi)绻肜^續(xù)用“海寶”IP生成一系列更具上海特色,符合時(shí)下潮流的衍生形象時(shí),AI可以做得更好。正如現(xiàn)場(chǎng)屏幕展示的,徐匯書院×海寶、武康大樓×海寶,AI能一鍵直出,幫我們生成各種各樣的創(chuàng)意形象。
再比如最近非?;鸬腖abubu,此前制作一個(gè)Labubu創(chuàng)意視頻,可能需要兩個(gè)月,花費(fèi)大約幾十甚至百萬(wàn)人民幣。通過(guò)越來(lái)越強(qiáng)的AI視頻模型,像大屏幕右邊展示的Labubu視頻,基本一天時(shí)間就可以生成出來(lái),成本只有幾百塊錢。
過(guò)去六個(gè)月,我們的視頻模型海螺(Hailuo)已經(jīng)在全世界生成超過(guò)3億個(gè)視頻。通過(guò)高質(zhì)量的AI模型,互聯(lián)網(wǎng)上的大部分內(nèi)容與創(chuàng)意會(huì)變得越來(lái)越普及,低門檻讓每個(gè)人的創(chuàng)意得以充分發(fā)揮。
除了釋放生產(chǎn)力與創(chuàng)意之外,我們發(fā)現(xiàn),AI的使用其實(shí)已經(jīng)超出最初的的設(shè)計(jì)與預(yù)期,各種各樣想象不到的應(yīng)用場(chǎng)景正在發(fā)生;比如解析一個(gè)古文字、模擬一次飛行、設(shè)計(jì)一個(gè)天文望遠(yuǎn)鏡……這樣意想不到的場(chǎng)景,隨著模型能力越來(lái)越強(qiáng),變得越來(lái)越可行;僅僅需要少量協(xié)作,就可以增強(qiáng)每個(gè)人的創(chuàng)意。
面對(duì)這么多變化,一個(gè)想法開始在我的心里涌現(xiàn)出來(lái):作為一個(gè)AI創(chuàng)業(yè)者,AI公司并不是重新復(fù)制一個(gè)互聯(lián)網(wǎng)公司,AI是一個(gè)更基礎(chǔ)更根本的生產(chǎn)力,是對(duì)個(gè)人能力和社會(huì)能力的持續(xù)增強(qiáng)。這里有兩點(diǎn)比較關(guān)鍵:第一、AI是一種能力,第二是AI是可持續(xù)的。
人類很難突破生物定律,永不停歇學(xué)習(xí)新知識(shí),持續(xù)變聰明,而AI可以。當(dāng)我們?cè)诮ㄔ旄玫腁I模型時(shí),我們也發(fā)現(xiàn),AI也在和我們?nèi)祟愐黄疬M(jìn)步,一起做出來(lái)更好的AI。就在我們公司內(nèi)部,員工每天需要寫很多代碼,做很多研究型實(shí)驗(yàn),這里邊大概有70%的代碼是AI來(lái)寫,90%數(shù)據(jù)分析是靠AI來(lái)做。
圖源:企業(yè)授權(quán)
AI怎么能變得越來(lái)越專業(yè)?大約在一年前,當(dāng)時(shí)訓(xùn)練模型還需要大量的基礎(chǔ)標(biāo)注工作,標(biāo)注員是一個(gè)不可或缺的工種。而今年,當(dāng)AI能力變得越來(lái)越強(qiáng)的時(shí)候,大量機(jī)械的標(biāo)注工作被專業(yè)AI完成,標(biāo)注員則可以專注于更有價(jià)值的專家型工作,一起幫助模型變得更好。標(biāo)注工作也不再是簡(jiǎn)單給AI一個(gè)答案,而是教會(huì)AI思考的過(guò)程,讓AI來(lái)學(xué)習(xí)人類的思考過(guò)程,從而使AI能力變得更加泛化,越來(lái)越接近人類頂尖專家的水平。
除了通過(guò)專家來(lái)教AI之外,還有另外一種進(jìn)步,就是在環(huán)境中大量學(xué)習(xí)。在過(guò)去半年,通過(guò)各種環(huán)境,從編程IDE,到Agent環(huán)境,再到游戲沙盒,當(dāng)我們把AI放到一個(gè)能夠持續(xù)提供可驗(yàn)證的獎(jiǎng)勵(lì)環(huán)境中學(xué)習(xí),只要這個(gè)環(huán)境可以被定義出來(lái),有明確的獎(jiǎng)勵(lì)信號(hào),AI就可以把問(wèn)題給解決。這個(gè)強(qiáng)化學(xué)習(xí)也變得可持續(xù),規(guī)模越來(lái)越大。
基于上面的原因,我們非常確定AI會(huì)越來(lái)越強(qiáng),并且可能是無(wú)止境地強(qiáng)。
接下來(lái)出現(xiàn)的問(wèn)題是,AI這么強(qiáng),對(duì)社會(huì)的影響越來(lái)越大,那么AI到底會(huì)不會(huì)被壟斷?它是會(huì)被掌握在一家組織里,還是掌握在多家組織里呢?
我們認(rèn)為,AI領(lǐng)域一定會(huì)有多個(gè)玩家持續(xù)存在。原因有三點(diǎn):第一,我們目前用到的所有模型,都依賴對(duì)齊(ModelAlignment)。很明顯,不同模型的對(duì)齊目標(biāo)其實(shí)是不一樣的,比如有的模型對(duì)齊目標(biāo)是一個(gè)靠譜的程序員,那么做Agent就會(huì)特別的強(qiáng);有的模型它對(duì)齊目標(biāo)是與人的交互,那么它就會(huì)比較有情商,能夠做流暢的對(duì)話;有的模型可能會(huì)充滿想象力。不同的對(duì)齊目標(biāo)反映了不同公司或者組織的價(jià)值觀,這些價(jià)值觀最終會(huì)導(dǎo)致模型的表現(xiàn)非常不一樣,也會(huì)使得不同的模型擁有各自的特點(diǎn),并且長(zhǎng)期存在。
第二,我們?cè)谧罱肽暧玫腁I系統(tǒng)其實(shí)都已經(jīng)不是單個(gè)模型了,而是一個(gè)多Agent系統(tǒng),里面涉及多個(gè)模型,不同的模型也可以使用不同的工具,通過(guò)這樣的方式讓AI智能水平越來(lái)越高,能夠解決越來(lái)越復(fù)雜的問(wèn)題。這個(gè)東西帶來(lái)的結(jié)果是,單一模型的優(yōu)勢(shì)在這樣一個(gè)多Agent系統(tǒng)里逐漸變?nèi)酢?/p>
第三,在過(guò)去半年,有很多非常智能的系統(tǒng),都不是大公司所擁有的。背后的原因,是過(guò)去一年開源模型如雨后春筍般涌現(xiàn),開源模型變得越來(lái)越有影響力。這張圖是過(guò)去一年比較受關(guān)注AI的排行榜,可以發(fā)現(xiàn)最好的模型還是閉源的,但最好的開源模型越來(lái)越多,同時(shí)也在不斷逼近最好的閉源模型。
基于這三點(diǎn)原因,我們認(rèn)為,AI一定會(huì)被掌握在多家公司的手中。
與此同時(shí),我們認(rèn)為AI一定會(huì)變得越來(lái)越普惠,使用成本也會(huì)變得更加可控。
在過(guò)去一年半,AI模型的大小沒(méi)有發(fā)生特別大的變化,即便我們可使用算力更多了。為什么呢?對(duì)所有實(shí)用模型而言,計(jì)算速度是一個(gè)比較關(guān)鍵的因素。如果模型計(jì)算速度特別慢,就會(huì)降低用戶的使用意愿,所以所有公司都關(guān)注模型的參數(shù)量和智能水平之間的平衡。
此前,模型大小增長(zhǎng)和芯片的進(jìn)步速度基本上是成正比的。我們知道芯片的進(jìn)步速度是每18個(gè)月會(huì)翻一倍,模型也會(huì)相應(yīng)保持這樣的增長(zhǎng)趨勢(shì)。而現(xiàn)在,雖然大家都有更多的算力了,模型參數(shù)卻沒(méi)有變得更大。那這些增長(zhǎng)的算力花在哪呢?
首先說(shuō)訓(xùn)練,規(guī)模增長(zhǎng)的速度在過(guò)去半年已經(jīng)變得比較緩慢,訓(xùn)練單個(gè)模型的成本實(shí)際上卻沒(méi)有顯著增加。這些算力花在做更多的研究跟探索上。而我們知道研究和探索,除了取決于算力之外,還取決于高效的整體實(shí)驗(yàn)設(shè)計(jì),高效的研發(fā)團(tuán)隊(duì),以及一些天才的創(chuàng)意。結(jié)果是,擁有非常多算力的公司和沒(méi)擁有那么多算力的公司,在訓(xùn)練上其實(shí)的差異可能不會(huì)那么大。沒(méi)有那么多算力的公司,可以通過(guò)持續(xù)提升自己的實(shí)驗(yàn)設(shè)計(jì)、提升思考能力和組織形式,讓實(shí)驗(yàn)探索變得更加高效。
再說(shuō)推理,在過(guò)去一年,最好模型的推理成本其實(shí)是降了一個(gè)數(shù)量級(jí),通過(guò)大量的計(jì)算網(wǎng)絡(luò)系統(tǒng)和優(yōu)化算法,我們認(rèn)為在接下來(lái)一兩年之內(nèi),最好模型的推理成本可能還能再降低一個(gè)數(shù)量級(jí)??偨Y(jié)而言,我們認(rèn)為訓(xùn)練單個(gè)模型的成本不會(huì)顯著地增加。
我們認(rèn)為,大量創(chuàng)新能讓AI研發(fā)變成一個(gè)沒(méi)有那么燒錢的行業(yè),但是算力使用還會(huì)增加。盡管Token會(huì)變得很便宜,但是使用Token的數(shù)量會(huì)顯著增加。去年ChatBot單個(gè)對(duì)話只要消耗幾千個(gè)Token,現(xiàn)在Agent單個(gè)對(duì)話可能消耗幾百萬(wàn)個(gè)Token,并且因?yàn)锳I解決的問(wèn)題越來(lái)越復(fù)雜,越來(lái)越實(shí)用,那么用的人也會(huì)越來(lái)越多。
讓每個(gè)人都用得起AI,這是我們對(duì)AI發(fā)展的判斷。IntelligencewithEveryone,這也是我們創(chuàng)業(yè)的初衷。我們認(rèn)為AGI一定會(huì)實(shí)現(xiàn),并且一定會(huì)服務(wù)大眾、普惠大眾。
如果有一天AGI實(shí)現(xiàn)了,其過(guò)程一定是由AI公司和它的用戶一起來(lái)實(shí)現(xiàn),并且這個(gè)AGI應(yīng)該屬于多家AI公司和它的廣泛用戶,而不是只屬于單個(gè)組織某家公司。
我們也愿意長(zhǎng)期為這個(gè)目標(biāo)而奮斗。感謝大家!
小說(shuō):重生帶領(lǐng)村民走向新生,成就桃源修真之路!
18本已完結(jié)精品古典仙俠小說(shuō),紅塵滾滾皆放下,仙音渺渺在心中
《重生之桃源修真》:沒(méi)有狂拽酷炫吊炸天的武技,沒(méi)有天花亂墜迷人...