文:Web3天空之城|未經(jīng)許可不得轉(zhuǎn)載

[城主說]在人工智能飛速發(fā)展的浪潮中，我們常常將其進(jìn)步歸因于研究人員的靈光一現(xiàn)或算法的神秘突破。但如果真相并非如此呢？如果AI能力的提升，實(shí)際上遵循著一套如物理定律般精確、可預(yù)測(cè)的法則呢？這正是Anthropic聯(lián)合創(chuàng)始人、前理論物理學(xué)家賈里德·卡普蘭（JaredKaplan）在此次YC的AI創(chuàng)業(yè)學(xué)院的最新研究訪談中為我們揭示的。他認(rèn)為，當(dāng)代AI革命的真正引擎，是被稱為“擴(kuò)展法則”（ScalingLaws）的現(xiàn)象——通過系統(tǒng)性地增加計(jì)算、數(shù)據(jù)和模型規(guī)模，我們正在一條清晰且可預(yù)測(cè)的道路上，穩(wěn)步邁向人類水平的通用人工智能。

核心觀點(diǎn)摘要“推動(dòng)人工智能進(jìn)步的根本原因，并不是因?yàn)槿斯ぶ悄苎芯咳藛T突然變得更聰明了。而是我們找到了一種非常、非常簡(jiǎn)單的方法，可以系統(tǒng)地改進(jìn)人工智能，而我們正在做的，就是轉(zhuǎn)動(dòng)這個(gè)曲柄。”“AI模型能夠完成的任務(wù)長度，大約每7個(gè)月就會(huì)翻一番。這種圖景表明，在未來幾年，AI能夠完成的任務(wù)將不僅需要我們幾分鐘或幾小時(shí)，而是幾天、幾周、甚至幾年。”“我認(rèn)為，為了廣泛地解鎖人類級(jí)別的人工智能，最重要的三大要素是：相關(guān)的組織知識(shí)、用于長期任務(wù)的記憶，以及處理模糊與復(fù)雜任務(wù)的監(jiān)督能力?！薄拔艺J(rèn)為人們?cè)谂c人工智能交互中可以發(fā)揮的主要作用，是充當(dāng)一名管理者，來對(duì)AI完成的工作進(jìn)行理智地檢查（sanitycheck）?！薄拔铱偸峭扑]的是，在人工智能能力邊界上進(jìn)行某種實(shí)驗(yàn)，去構(gòu)建一些尚未完全奏效的東西。因?yàn)槟憧梢灶A(yù)期，下一個(gè)版本的模型將使該產(chǎn)品發(fā)揮作用并提供大量?jī)r(jià)值?！薄昂芏鄷r(shí)候，當(dāng)擴(kuò)展法則似乎失效時(shí)，那只是因?yàn)槲覀冏约鹤鲥e(cuò)了什么。我的第一反應(yīng)是，如果擴(kuò)展法則失效，那是因?yàn)槲覀冊(cè)谀撤N程度上搞砸了AI訓(xùn)練?！薄八械膬r(jià)值都在前沿嗎？還是在那些沒那么強(qiáng)大但更便宜的系統(tǒng)中也存在大量?jī)r(jià)值？我確實(shí)期望很多價(jià)值將來自最強(qiáng)大的模型。”從物理學(xué)到AI：發(fā)現(xiàn)可預(yù)測(cè)的智能提升之路

對(duì)于一位職業(yè)生涯大部分時(shí)間沉浸在理論物理學(xué)中的科學(xué)家而言，轉(zhuǎn)向人工智能似乎是一次巨大的跨越。但對(duì)賈里德·卡普蘭來說，這背后是一以貫之的探索精神——尋找并理解我們周圍世界最宏大的趨勢(shì)。正如他所說，促使他投身物理學(xué)的，是少年時(shí)“想弄清楚我們是否可以建造一個(gè)超光速驅(qū)動(dòng)器”的科幻夢(mèng)想。而促使他最終全身心投入AI的，則是在物理學(xué)多個(gè)領(lǐng)域感到進(jìn)展放緩時(shí)，對(duì)一個(gè)新領(lǐng)域底層規(guī)律的好奇。

起初，卡普蘭對(duì)AI持懷疑態(tài)度，直到他開始用物理學(xué)家的思維方式提出那些“最愚蠢、最簡(jiǎn)單的問題”。“我聽說在2010年代，大數(shù)據(jù)很重要，所以我只是想知道數(shù)據(jù)應(yīng)該有多大？它有多重要？”同樣，“很多人注意到更大的AI模型表現(xiàn)更好，所以我們只是問了一個(gè)問題，這些模型表現(xiàn)得好多少？”

正是這些看似天真的問題，引導(dǎo)他和團(tuán)隊(duì)發(fā)現(xiàn)了AI領(lǐng)域最深刻的秘密之一：擴(kuò)展法則。他們震驚地發(fā)現(xiàn)，AI模型的性能提升并非隨機(jī)或偶然。無論是在其學(xué)習(xí)人類語言模式的“預(yù)訓(xùn)練”階段，還是在通過反饋學(xué)習(xí)執(zhí)行有用任務(wù)的“強(qiáng)化學(xué)習(xí)”階段，其進(jìn)步都遵循著精確且可預(yù)測(cè)的規(guī)律。

“我們發(fā)現(xiàn)AI訓(xùn)練實(shí)際上有一些非常、非常、非常精確和令人驚訝的底層規(guī)律，”卡普蘭強(qiáng)調(diào)，“這些趨勢(shì)像你在物理學(xué)或天文學(xué)中看到的任何東西一樣精確，這給了我們很大的信心，相信AI會(huì)以一種非?？深A(yù)測(cè)的方式變得越來越聰明。”早在2019年，他們就觀察到，在計(jì)算量、數(shù)據(jù)集大小和模型參數(shù)這三個(gè)維度上，性能的提升曲線跨越了數(shù)個(gè)數(shù)量級(jí)，呈現(xiàn)出驚人的線性關(guān)系。這一發(fā)現(xiàn)，成為了卡普蘭眼中AI進(jìn)步的根本原因。

擴(kuò)展的前沿：從幾分鐘到幾個(gè)月，不斷延伸的任務(wù)時(shí)間跨度

如果說擴(kuò)展法則是AI進(jìn)步的引擎，那么其最直觀的體現(xiàn)，就是AI能夠處理的任務(wù)復(fù)雜度在不斷延伸?？ㄆ仗m提出了一個(gè)極富洞察力的衡量維度：任務(wù)的時(shí)間跨度，即一個(gè)普通人完成AI所能處理的任務(wù)所需的時(shí)間。

他引用了METER組織的一項(xiàng)系統(tǒng)性研究，該研究發(fā)現(xiàn)了另一個(gè)驚人的擴(kuò)展趨勢(shì)?！八麄儼l(fā)現(xiàn)，如果你觀察人工智能模型可以完成的任務(wù)的長度，它大約每7個(gè)月翻一番?！边@意味著，AI正從只能完成需要數(shù)分鐘的簡(jiǎn)單任務(wù)（如文本摘要），穩(wěn)步邁向能夠處理需要數(shù)小時(shí)的復(fù)雜任務(wù)（如編寫和調(diào)試一段功能代碼）。

將這條曲線向前推演，一幅激動(dòng)人心又引人深思的圖景便浮現(xiàn)出來。“這種圖景表明，在未來幾年，我們可能會(huì)達(dá)到一個(gè)臨界點(diǎn)，即人工智能模型可以完成的任務(wù)不僅需要我們幾分鐘或幾小時(shí)，還需要幾天、幾周、幾個(gè)月、幾年等等。”卡普蘭設(shè)想，最終，由數(shù)百萬個(gè)AI模型組成的協(xié)同系統(tǒng)，將能夠完成今天需要整個(gè)人類組織、甚至整個(gè)科學(xué)界才能完成的工作?！澳憧梢韵胂笕斯ぶ悄芟到y(tǒng)協(xié)同工作，在幾天、幾周等時(shí)間內(nèi)取得理論物理界大約50年才能取得的進(jìn)展?！?/p>

通往人類級(jí)智能的三大支柱

盡管擴(kuò)展法則描繪了一條清晰的道路，但要實(shí)現(xiàn)廣泛意義上的人類級(jí)AI（AGI），僅僅“轉(zhuǎn)動(dòng)曲柄”是不夠的?？ㄆ仗m明確指出了當(dāng)前模型與未來理想形態(tài)之間的三個(gè)關(guān)鍵差距，它們是通往更高級(jí)智能必須搭建的三大支柱。

第一，是知識(shí)（Knowledge）。未來的AI不能再是一個(gè)“空白狀態(tài)”的通用工具，它需要被賦予特定領(lǐng)域的組織知識(shí)?！拔覀冃枰?xùn)練人工智能模型，它們可以學(xué)習(xí)在公司、組織、政府內(nèi)部工作，仿佛它們擁有在那里工作多年的員工所擁有的那種背景知識(shí)。”

第二，是記憶（Memory）。這與知識(shí)不同，它特指在執(zhí)行一個(gè)超長周期的復(fù)雜任務(wù)時(shí)，追蹤特定進(jìn)展、建立相關(guān)上下文并隨時(shí)調(diào)用的能力。這是實(shí)現(xiàn)從“小時(shí)級(jí)”任務(wù)跨越到“周級(jí)”或“月級(jí)”任務(wù)的核心技術(shù)瓶頸。

第三，是監(jiān)督（Supervision）。目前，AI在有明確對(duì)錯(cuò)標(biāo)準(zhǔn)的任務(wù)（如編程測(cè)試、數(shù)學(xué)解題）上進(jìn)步神速，因?yàn)閺?qiáng)化學(xué)習(xí)的信號(hào)非常清晰。但要讓AI掌握更高級(jí)的人類智慧，就需要更精細(xì)的監(jiān)督能力?！拔覀冃枰⑶艺陂_發(fā)的，是利用AI模型幫助我們生成更細(xì)微的獎(jiǎng)勵(lì)信號(hào)，以便我們可以利用強(qiáng)化學(xué)習(xí)來做一些事情，比如講好笑話、寫好詩，并在研究方面有良好的品味。”

新協(xié)作范式：作為“管理者”的人類

在AI能力日益強(qiáng)大的今天，人類的角色將如何演變？卡普蘭給出了一個(gè)清晰的定位。他認(rèn)為，AI智能形態(tài)與人類智能的一個(gè)根本不同在于，AI的判斷能力和生成能力更為接近。這意味著，它在能夠出色完成任務(wù)的同時(shí)，也可能犯下人類看來非常低級(jí)的錯(cuò)誤。

因此，在當(dāng)前階段，人機(jī)協(xié)作的最佳模式并非簡(jiǎn)單的“副駕駛”?！拔艺J(rèn)為人們?cè)谂c人工智能交互中可以發(fā)揮的主要作用，是充當(dāng)一名管理者，來對(duì)AI完成的工作進(jìn)行理智地檢查（sanitycheck）?！边@種模式在YC的創(chuàng)業(yè)公司中也得到了印證：早期產(chǎn)品多為“副駕駛”，需要人類最終批準(zhǔn)；而現(xiàn)在，越來越多的產(chǎn)品開始提供端到端的工作流替代方案，但這背后依然隱含著人類在更高層面的監(jiān)督和管理。

卡普蘭相信，隨著AI可靠性的提升，完全自動(dòng)化的任務(wù)會(huì)越來越多。“但我確實(shí)認(rèn)為，從長遠(yuǎn)來看，人機(jī)協(xié)作將是最有趣的地方，因?yàn)閷?duì)于最前沿的任務(wù)，你真的需要在環(huán)中有人。”特別是在需要整合大量跨領(lǐng)域知識(shí)的研究中，AI的廣度（吸收了人類文明的所有知識(shí)）與人類專家的深度相結(jié)合，將爆發(fā)出巨大的潛力。

給建設(shè)者的忠告：在能力邊界上構(gòu)建未來

對(duì)于所有身處這場(chǎng)技術(shù)浪潮中的開發(fā)者、創(chuàng)業(yè)者和投資者，卡普蘭鼓勵(lì)大家大膽擁抱不確定性，在技術(shù)的最前沿進(jìn)行實(shí)驗(yàn)?！拔艺J(rèn)為構(gòu)建一些尚未完全奏效的東西是個(gè)非常好的主意，”他解釋道，“因?yàn)锳I模型正在非常非常迅速地變得更好……你可以預(yù)期會(huì)出現(xiàn)一個(gè)新版本的模型，它將使你的產(chǎn)品發(fā)揮作用并提供大量?jī)r(jià)值?！?/p>

其次，要善于利用AI本身來加速AI的集成。當(dāng)前AI發(fā)展的一大瓶頸是，技術(shù)進(jìn)步的速度超過了其在各行各業(yè)的落地速度?！袄萌斯ぶ悄苓M(jìn)行人工智能整合將會(huì)非常有價(jià)值，”這就像電力革命早期，真正的變革并非用電動(dòng)機(jī)取代蒸汽機(jī)，而是重塑整個(gè)工廠的運(yùn)作方式。

最后，關(guān)于價(jià)值的分布，卡普蘭傾向于認(rèn)為，盡管廉價(jià)模型能完成大量簡(jiǎn)單任務(wù)，但真正的顛覆性價(jià)值將集中于能力最強(qiáng)的“前沿模型”。這背后是經(jīng)典的“杰文斯悖論”——技術(shù)效率的提升，反而會(huì)增加對(duì)該技術(shù)（尤其是最高效形態(tài)）的總需求?！澳軌蚴褂靡粋€(gè)可以端到端完成非常復(fù)雜任務(wù)的AI模型，而不是要求我們?nèi)祟悂韰f(xié)調(diào)一個(gè)更笨的模型……會(huì)方便得多。所以，我確實(shí)期望很多價(jià)值將來自最強(qiáng)大的模型。”

天空之城全文整理版從物理學(xué)到AI：擴(kuò)展法則的發(fā)現(xiàn)之旅

賈里德:大家好，我是賈里德·卡普蘭。我將簡(jiǎn)要地談?wù)剶U(kuò)展以及通往人類水平人工智能的道路，但我想對(duì)于在座的各位來說，很多這些想法都相當(dāng)熟悉，所以我將盡量簡(jiǎn)短，然后我們將與戴安娜進(jìn)行一次爐邊談話式的問答。實(shí)際上我只從事人工智能方面的工作大約六年。在此之前，我從事了一段漫長的職業(yè)生涯。我職業(yè)生涯的絕大部分時(shí)間都是作為一名在學(xué)術(shù)界工作的理論物理學(xué)家，那么我是如何接觸到人工智能的呢？好吧，我想盡量簡(jiǎn)短。

我為什么開始從事物理學(xué)呢？這基本上是因?yàn)槲覌寢屖且晃豢苹眯≌f作家，我想弄清楚我們是否可以建造一個(gè)超光速驅(qū)動(dòng)器，而物理學(xué)是實(shí)現(xiàn)這一目標(biāo)的途徑。我也非常興奮地想了解宇宙，事物是如何運(yùn)作的，我們周圍所看到的一切背后的最大趨勢(shì)是什么，這一切來自哪里？例如，宇宙是確定性的嗎？我們有自由意志嗎？我對(duì)所有這些問題都非常非常感興趣，但幸運(yùn)的是，在我作為物理學(xué)家的職業(yè)生涯中，我遇到了很多非常非常有趣、非常深刻的人，包括我現(xiàn)在一直合作的Anthropic的許多創(chuàng)始人，我真的對(duì)他們所做的事情很感興趣，我一直在關(guān)注它，并且當(dāng)我從物理學(xué)中不同的學(xué)科領(lǐng)域，從大型強(qiáng)子對(duì)撞機(jī)物理學(xué)、粒子物理學(xué)、宇宙學(xué)、弦理論等等，我感到有點(diǎn)沮喪，有點(diǎn)無聊。我覺得我們進(jìn)展不夠快，很多朋友告訴我人工智能正在變得非常重要，但我并不相信他們。我真的很懷疑。我想，好吧，人工智能，人們已經(jīng)研究了50年了。支持向量機(jī)（SVMs）沒有那么令人興奮。那是2005年、2009年我在學(xué)校時(shí)我們所知道的全部，但我確信人工智能可能是一個(gè)令人興奮的領(lǐng)域，我很幸運(yùn)地認(rèn)識(shí)了合適的人，剩下的就是歷史了。

接下來我會(huì)稍微談?wù)勎覀儺?dāng)代人工智能模型是如何工作的，以及擴(kuò)展如何使它們變得越來越好。因此，像Plod、ChatGPT等當(dāng)代人工智能模型的訓(xùn)練實(shí)際上有兩個(gè)基本階段。第一階段是預(yù)訓(xùn)練，我們?cè)陬A(yù)訓(xùn)練階段訓(xùn)練人工智能模型來模仿人類書寫的數(shù)據(jù)、人類書寫的文本，并理解這些數(shù)據(jù)的基礎(chǔ)關(guān)聯(lián)性，這些圖表非常非常復(fù)古。這實(shí)際上是最初GPT-3模型的游樂場(chǎng)，你可以看到，作為期刊俱樂部的發(fā)言人，你可能會(huì)慫恿我說某些話。句子中的“大象”這個(gè)詞非常非常不可能出現(xiàn)。預(yù)訓(xùn)練所做的是教會(huì)模型在大規(guī)模語料文本中哪些詞可能跟在其他詞之后，現(xiàn)在對(duì)于當(dāng)代模型來說，還包括多模態(tài)數(shù)據(jù)。

當(dāng)代人工智能模型的第二階段訓(xùn)練是強(qiáng)化學(xué)習(xí)。這又是一張非常復(fù)古的幻燈片。它展示了我們?cè)?022年那個(gè)古老年代，收集反饋數(shù)據(jù)時(shí)，用于Plod0或Plod負(fù)1的原始界面。你在這里看到的是與非常、非常早期版本的Plod進(jìn)行對(duì)話的界面，并根據(jù)你、眾包工人等的說法，選擇Plod的哪個(gè)回復(fù)更好，并使用該信號(hào)，我們優(yōu)化、我們強(qiáng)化那些被選擇為良好、被選擇為有幫助、誠實(shí)和無害的行為。我們阻止那些不好的行為，所以訓(xùn)練這些模型的所有內(nèi)容實(shí)際上就是學(xué)習(xí)預(yù)測(cè)下一個(gè)詞，然后進(jìn)行強(qiáng)化學(xué)習(xí)來學(xué)習(xí)執(zhí)行有用的任務(wù)，并且事實(shí)證明，這兩個(gè)訓(xùn)練階段都有縮放定律。

這是我們五六年前制作的一張圖，它顯示了當(dāng)你擴(kuò)大人工智能的預(yù)訓(xùn)練階段時(shí)，我們的模型會(huì)如何可預(yù)測(cè)地獲得越來越好的性能，而這件事情的出現(xiàn)是因?yàn)槲抑皇菃柫俗钣薮赖膯栴}。作為一名物理學(xué)家，你就是被訓(xùn)練來做這件事的。你會(huì)觀察大局，然后問一些非常愚蠢的問題。我聽說在2010年代，說大數(shù)據(jù)很重要，所以我只是想知道數(shù)據(jù)應(yīng)該有多大？它有多重要？它有多大幫助？同樣地，很多人注意到更大的AI模型表現(xiàn)更好，所以我們只是問了一個(gè)問題，這些模型表現(xiàn)得好多少？我們真的很幸運(yùn)。我們發(fā)現(xiàn)AI訓(xùn)練實(shí)際上有一些非常、非常、非常精確和令人驚訝的底層規(guī)律。這真的讓我們震驚，因?yàn)檫@些趨勢(shì)非常棒，而且像你在物理學(xué)或天文學(xué)中看到的任何東西一樣精確，這些給了我們很大的信心，相信AI會(huì)以一種非?？深A(yù)測(cè)的方式變得越來越聰明，因?yàn)檎缒阍谶@些圖中看到的，早在2019年，我們就在計(jì)算量、數(shù)據(jù)集大小和神經(jīng)網(wǎng)絡(luò)大小方面，跨越了許多、許多、許多數(shù)量級(jí)，所以我們預(yù)計(jì)，一旦你看到某件事在許多、許多、許多數(shù)量級(jí)上都是正確的，你就會(huì)期望它在更長的時(shí)間內(nèi)繼續(xù)保持正確。

因此，這在某種程度上是我認(rèn)為AI改進(jìn)的根本原因之一。另一個(gè)實(shí)際上也是很久以前就開始出現(xiàn)的事情，盡管它在過去幾年里變得非常、非常具有影響力，那就是你可以在AI訓(xùn)練的強(qiáng)化學(xué)習(xí)階段看到規(guī)模法則。因此，大約4年前，一位研究人員決定研究AlphaGo的擴(kuò)展法則，基本上是將兩個(gè)非常非常引人注目的AI成功案例，GPT-3和預(yù)訓(xùn)練的擴(kuò)展以及AlphaGo結(jié)合在一起。這只是一位研究人員，安迪·瓊斯，靠自己研究，用他自己的，我想，也許是當(dāng)時(shí)那些古老日子里的單GPU。因此，他無法研究AlphaGo，那太昂貴了，但他可以研究一種更簡(jiǎn)單的游戲，叫做Hex。所以他制作了你在這里看到的這張圖?，F(xiàn)在，ELO分?jǐn)?shù)，我想，那時(shí)還不那么廣為人知，但所有ELO分?jǐn)?shù)，當(dāng)然，都是國際象棋等級(jí)分。它們基本上描述了一位玩家在國際象棋游戲中擊敗另一位玩家的可能性有多大。它們現(xiàn)在被用來對(duì)AI模型進(jìn)行基準(zhǔn)測(cè)試，以了解人類更喜歡一個(gè)AI模型而不是另一個(gè)模型的頻率。但在當(dāng)時(shí)，這只是ELO分?jǐn)?shù)作為國際象棋等級(jí)分的經(jīng)典應(yīng)用。他觀察到，當(dāng)你訓(xùn)練不同的模型來玩Hex這款游戲時(shí)（這是一款非常簡(jiǎn)單的棋盤游戲，比圍棋簡(jiǎn)單一點(diǎn)），它們的表現(xiàn)如何？他看到了這些顯著的直線。因此，在科學(xué)上，注意到非常非常簡(jiǎn)單的趨勢(shì)是一種技能。這就是其中之一。我認(rèn)為這沒有引起注意。我認(rèn)為人們沒有足夠早地關(guān)注強(qiáng)化學(xué)習(xí)中這種規(guī)?；袨?，但最終它還是發(fā)生了。所以我們基本上看到，你可以擴(kuò)大預(yù)訓(xùn)練和強(qiáng)化學(xué)習(xí)中的計(jì)算規(guī)模，并獲得越來越好的性能。而且我認(rèn)為這是推動(dòng)人工智能進(jìn)步的根本原因。并不是因?yàn)槿斯ぶ悄苎芯咳藛T真的很聰明，或者他們突然變得聰明了。而是我們找到了一種非常非常簡(jiǎn)單的方法，可以系統(tǒng)地改進(jìn)人工智能，而我們正在轉(zhuǎn)動(dòng)這個(gè)曲柄。

那么，這正在解鎖哪些能力呢？我傾向于從兩個(gè)維度來考慮人工智能的能力。我認(rèn)為不那么令人感興趣的一個(gè)維度，但它仍然非常重要，基本上就是人工智能的靈活性，人工智能適應(yīng)我們的能力。所以，如果你把，比如，AlphaGo放在這張圖上，它會(huì)遠(yuǎn)低于x軸，因?yàn)殡m然AlphaGo超級(jí)智能，它在圍棋方面比任何圍棋選手都強(qiáng)，但它只能在圍棋棋盤的宇宙中運(yùn)行。但自從大型語言模型出現(xiàn)以來，我們?nèi)〉昧朔€(wěn)步進(jìn)展，使得人工智能能夠處理人們能夠處理的許多、許多、許多、所有的模態(tài)。我認(rèn)為，我們還沒有具有嗅覺的人工智能模型，但這可能即將到來。因此，當(dāng)你沿著這里的y軸向上移動(dòng)時(shí)，你會(huì)得到可以在世界上做越來越多相關(guān)事情的人工智能系統(tǒng)。

不過，我認(rèn)為更有趣的軸是這里的x軸，即人們完成人工智能模型可以完成的這類任務(wù)所需的時(shí)間。隨著我們提高人工智能的能力，這個(gè)時(shí)間一直在穩(wěn)步增加。這有點(diǎn)像是任務(wù)的時(shí)間范圍。有一個(gè)名為METER的組織對(duì)這個(gè)問題進(jìn)行了非常系統(tǒng)的研究，并發(fā)現(xiàn)了另一個(gè)規(guī)模擴(kuò)展趨勢(shì)。他們發(fā)現(xiàn)，如果你觀察人工智能模型可以完成的任務(wù)的長度，它大約每7個(gè)月翻一番。因此，這意味著通過擴(kuò)展用于預(yù)訓(xùn)練和強(qiáng)化學(xué)習(xí)的計(jì)算能力，人工智能中嵌入的智能正在導(dǎo)致人工智能模型可以完成的可預(yù)測(cè)的、有用的任務(wù)，包括越來越長時(shí)間范圍的任務(wù)。因此，你可以推測(cè)一下這會(huì)走向何方，在“人工智能2027”中，人們確實(shí)這樣做了。這種圖景表明，在未來幾年，我們可能會(huì)達(dá)到一個(gè)臨界點(diǎn)，即人工智能模型可以完成的任務(wù)不僅需要我們幾分鐘或幾小時(shí)，還需要幾天、幾周、幾個(gè)月、幾年等等。最終，我們?cè)O(shè)想人工智能模型，或者可能是數(shù)百萬個(gè)人工智能模型協(xié)同工作，將能夠完成整個(gè)人類組織可以做的工作。它們將能夠完成整個(gè)科學(xué)界目前所做的那種工作。數(shù)學(xué)或理論物理的美妙之處在于，你只需思考就能取得進(jìn)展。因此，你可以想象人工智能系統(tǒng)協(xié)同工作，在幾天、幾周等時(shí)間內(nèi)取得理論物理界大約50年才能取得的進(jìn)展。

如果這種規(guī)?；膱D景能帶我們走得很遠(yuǎn)，那么還剩下什么？還剩下什么？我認(rèn)為，為了廣泛地解鎖人類級(jí)別的人工智能，可能剩下的東西相對(duì)簡(jiǎn)單。我認(rèn)為，最重要的要素之一是相關(guān)的組織知識(shí)。因此，我們需要訓(xùn)練人工智能模型，它們不僅僅以空白狀態(tài)迎接你，而且可以學(xué)習(xí)在公司、組織、政府內(nèi)部工作，仿佛它們擁有在那里工作多年的員工所擁有的那種背景知識(shí)。所以我認(rèn)為人工智能模型需要能夠運(yùn)用知識(shí)。它們也需要記憶。如果知識(shí)不是記憶，那記憶又是什么呢？我區(qū)分它的意義在于，當(dāng)你在做一個(gè)需要花費(fèi)非常非常長時(shí)間的任務(wù)時(shí)，你需要跟蹤你在該特定任務(wù)上的進(jìn)展。你需要建立相關(guān)的記憶，并且需要能夠使用它們。這就是我們已經(jīng)開始構(gòu)建到第四象限中的東西，我認(rèn)為它將變得越來越重要。第三個(gè)我認(rèn)為我們需要改進(jìn)并且正在取得進(jìn)展的要素是監(jiān)督，即人工智能模型理解細(xì)微差別、解決困難且模糊任務(wù)的能力。因此，現(xiàn)在當(dāng)我們看到進(jìn)展的爆發(fā)時(shí)，很容易訓(xùn)練人工智能模型來說編寫可以通過測(cè)試的代碼，或者正確地回答數(shù)學(xué)問題，因?yàn)槭裁词钦_的，什么是不正確的非常明確。因此，很容易應(yīng)用強(qiáng)化學(xué)習(xí)，使人工智能模型在這些類型的任務(wù)中做得越來越好。但我們需要并且正在開發(fā)的是人工智能模型，它可以幫助我們生成更細(xì)微的獎(jiǎng)勵(lì)信號(hào)，以便我們可以利用強(qiáng)化學(xué)習(xí)來做一些事情，比如講好笑話、寫好詩，并在研究方面有良好的品味。

我認(rèn)為我們需要的其他要素更簡(jiǎn)單。我們顯然需要能夠訓(xùn)練人工智能模型來完成越來越復(fù)雜的任務(wù)。我們需要從文本模型逐步提升到多模態(tài)模型，再到機(jī)器人。我預(yù)計(jì)在未來幾年，當(dāng)應(yīng)用于這些不同領(lǐng)域時(shí)，我們將看到規(guī)?；瘞淼某掷m(xù)增長。

那么我們應(yīng)該如何為這個(gè)未來，這些可能性做好準(zhǔn)備呢？我認(rèn)為有幾件事我總是推薦。首先，我認(rèn)為構(gòu)建一些尚未完全奏效的東西是個(gè)非常好的主意。這可能一直都是個(gè)好主意。我們總是要有雄心壯志。但我認(rèn)為特別地，現(xiàn)在的人工智能模型正在非常非常迅速地變得更好。而且我認(rèn)為這種情況會(huì)持續(xù)下去。這意味著，如果你開發(fā)了一個(gè)產(chǎn)品，由于四核4.0仍然有點(diǎn)笨拙而不能完全發(fā)揮作用，你可以預(yù)期會(huì)出現(xiàn)一個(gè)四核5.0，它將使該產(chǎn)品發(fā)揮作用并提供大量?jī)r(jià)值。所以我認(rèn)為我總是推薦的是，在人工智能能力邊界上進(jìn)行某種實(shí)驗(yàn)，因?yàn)檫@些邊界正在迅速移動(dòng)。

我認(rèn)為下一點(diǎn)是，人工智能將有助于人工智能的整合。我認(rèn)為人工智能的主要瓶頸之一實(shí)際上是，它發(fā)展得太快了，以至于我們沒有時(shí)間將其整合到產(chǎn)品、公司、我們所做的其他一切以及科學(xué)中。因此，我認(rèn)為為了加快這一進(jìn)程，利用人工智能進(jìn)行人工智能整合將會(huì)非常有價(jià)值。

最后，我的意思是，我認(rèn)為這對(duì)在座的各位來說是顯而易見的，但弄清楚人工智能在何處能夠非常、非常迅速地被采用是關(guān)鍵。我們看到人工智能在編碼集成方面出現(xiàn)了爆炸式增長，而且有很多理由說明軟件工程是人工智能的好去處。但我認(rèn)為，關(guān)鍵問題是接下來會(huì)發(fā)生什么？除了軟件工程之外，還有什么能夠如此迅速地增長？當(dāng)然，我不知道答案，但希望你們能搞清楚。

演講就到這里。我想邀請(qǐng)黛安娜上臺(tái)聊聊。

爐邊對(duì)話：Claude4、人機(jī)協(xié)作與未來機(jī)遇

主持人:這是一個(gè)關(guān)于所有規(guī)模法則的精彩演講。最近，Anthropic剛剛發(fā)布了Claude4，現(xiàn)在可以使用了。好奇的是，隨著所有這些模型版本的發(fā)布在未來12個(gè)月內(nèi)不斷累積，它將如何改變可能實(shí)現(xiàn)的事情？

賈里德:我認(rèn)為，如果12個(gè)月后才出現(xiàn)更好的模型，我們會(huì)有麻煩的。但我想Claude4有一些改進(jìn)。我認(rèn)為對(duì)于Claude3.7Sonnet來說，使用3.7進(jìn)行編碼已經(jīng)非常令人興奮了。但我想每個(gè)人都注意到的是，3.7有點(diǎn)過于積極。有時(shí)它真的非常想讓你的測(cè)試通過，然后會(huì)做一些你并不真正想讓它做的事情。有很多類似try-except語句之類的東西。所以對(duì)于Claude4，我認(rèn)為我們已經(jīng)能夠提高模型作為代理（特別是針對(duì)編碼）的能力，而且在搜索、各種其他應(yīng)用等很多其他方面也有所提高。同時(shí)也改進(jìn)了它的監(jiān)管能力，就是我在演講中提到的那種監(jiān)督，以便它遵循你的指示，并有望提高代碼質(zhì)量。

我認(rèn)為我們所做的另一件事是提高它保存和存儲(chǔ)記憶的能力。我們希望看到人們利用這一點(diǎn)，因?yàn)镃laude4可以在非常復(fù)雜的任務(wù)中超出其上下文窗口的限制，但也可以將記憶存儲(chǔ)為文件或記錄，并檢索它們，以便在許多、許多上下文窗口中繼續(xù)工作。

但我想最后，我認(rèn)為規(guī)模法則所描繪的圖景是一種漸進(jìn)式進(jìn)步。所以我認(rèn)為你將在Claude中看到的是，隨著每次發(fā)布，它在許多不同的方面都在穩(wěn)步改進(jìn)。但我認(rèn)為，擴(kuò)展實(shí)際上暗示了一種平滑的曲線，朝著我所期望的那種人類水平的人工智能或通用人工智能發(fā)展。這里有很多觀眾會(huì)為此感到興奮的特殊功能嗎？

主持人:您可以提供一些測(cè)試版，一些alpha泄露，讓大家了解您認(rèn)為人們會(huì)喜歡的新API的哪些方面。

賈里德:我認(rèn)為我最興奮的事情是解鎖越來越長的任務(wù)時(shí)間跨度。我認(rèn)為隨著時(shí)間的推移，我們將看到Claude作為一個(gè)可以承擔(dān)越來越大的工作量的協(xié)作者。

主持人:這就是您所說的，所有這些未來的模型都能夠承擔(dān)越來越大的任務(wù)?，F(xiàn)在，它們能夠完成以小時(shí)為單位的任務(wù)了嗎？

賈里德:是的，我認(rèn)為是這樣。我認(rèn)為這是一個(gè)非常不精確的衡量標(biāo)準(zhǔn)。但我想現(xiàn)在，如果你看看軟件工程任務(wù)，我認(rèn)為Meter確實(shí)對(duì)人們完成各種任務(wù)所需的時(shí)間進(jìn)行了基準(zhǔn)測(cè)試。是的，我認(rèn)為這是以小時(shí)為單位的時(shí)間尺度。我認(rèn)為就像人們廣泛地使用人工智能一樣，我對(duì)人工智能持懷疑態(tài)度的人會(huì)正確地說，人工智能會(huì)犯很多愚蠢的錯(cuò)誤。它可以做一些絕對(duì)精彩并讓你感到驚訝的事情，但它也可能犯一些基本錯(cuò)誤。我認(rèn)為人工智能的一個(gè)基本特征，即人工智能的形態(tài)與人類智能的不同之處在于，有很多事情我做不了，但我至少可以判斷它們是否做得正確。我認(rèn)為對(duì)于人工智能來說，判斷與生成能力更為接近，這意味著我認(rèn)為人們?cè)谂c人工智能交互中可以發(fā)揮的主要作用是充當(dāng)管理者來理智地檢查工作。

主持人:這非常有趣，因?yàn)槲覀冊(cè)赮C去年的批次中觀察到的一件事是，很多公司在推出和銷售產(chǎn)品時(shí)，仍然更多地將其作為副駕駛來銷售，比如你會(huì)有一個(gè)客戶支持的副駕駛，在你發(fā)送給客戶回復(fù)之前，仍然需要最后的人工批準(zhǔn)。但我認(rèn)為僅在春季批次中就發(fā)生了一件事變化，我認(rèn)為很多AI模型非常有能力端到端地完成任務(wù)，正如你所說，這非常了不起。創(chuàng)始人現(xiàn)在直接銷售完全工作流程的替代品。你如何看待這轉(zhuǎn)化為你希望這里的聽眾構(gòu)建的東西？

賈里德:我認(rèn)為有很多可能性?；旧希@是一個(gè)關(guān)于什么程度的成功或表現(xiàn)是可以接受的問題。有些任務(wù)達(dá)到大約70%的正確率就足夠了，而另一些任務(wù)則需要達(dá)到99.9%才能部署。我認(rèn)為老實(shí)說，我認(rèn)為為70-80%就足夠的使用案例構(gòu)建可能更有趣，因?yàn)槟菢幽悴拍苷嬲|及人工智能能力的邊界。但我認(rèn)為我們也在努力提高可靠性。我認(rèn)為我們將看到越來越多的這類任務(wù)。我認(rèn)為目前，人機(jī)協(xié)作將是最有趣的地方，因?yàn)槲艺J(rèn)為對(duì)于最先進(jìn)的任務(wù)，你真的需要在環(huán)中有人。但我確實(shí)認(rèn)為，從長遠(yuǎn)來看，會(huì)有越來越多的任務(wù)可以完全自動(dòng)化。

主持人:你能詳細(xì)說說你認(rèn)為在這種人與人工智能循環(huán)協(xié)作中，世界會(huì)是什么樣子嗎？因?yàn)檫_(dá)里奧的《愛與恩典的機(jī)器》一文描繪了一幅非常樂觀的圖景。我們?nèi)绾瓮ㄟ^這個(gè)循環(huán)實(shí)現(xiàn)這一目標(biāo)，具體細(xì)節(jié)是什么？

賈里-德:我認(rèn)為我們已經(jīng)看到一些這樣的情況發(fā)生了。至少當(dāng)我和在生物醫(yī)學(xué)研究領(lǐng)域工作的人交談時(shí)，通過適當(dāng)?shù)膮f(xié)調(diào)，我認(rèn)為現(xiàn)在有可能利用前沿人工智能模型，為藥物發(fā)現(xiàn)等領(lǐng)域產(chǎn)生有趣且有價(jià)值的見解。所以我認(rèn)為這已經(jīng)開始發(fā)生了。我想其中一個(gè)我思考過的方面是，有些智能需要大量的深度，而有些智能需要大量的廣度。例如，在數(shù)學(xué)中，你可以花十年時(shí)間來試圖證明一個(gè)定理，比如黎曼猜想或費(fèi)馬大定理。我認(rèn)為這有點(diǎn)像解決一個(gè)非常具體、非常困難的問題。我認(rèn)為在很多科學(xué)領(lǐng)域，可能在生物學(xué)中更多，也許有趣的是在心理學(xué)或歷史學(xué)中，將非常非常大量的、來自許多不同領(lǐng)域的信息整合起來才是關(guān)鍵。我認(rèn)為人工智能模型在預(yù)訓(xùn)練階段吸收了人類文明的所有知識(shí)。因此，我懷疑利用人工智能的這種特性，即它比任何一位人類專家知道得多得多，可以收獲很多成果。因此，你可以通過整合許多不同的專業(yè)領(lǐng)域，比如在生物學(xué)領(lǐng)域，來獲取研究的見解。

所以我認(rèn)為我們?cè)谑谷斯ぶ悄芨瞄L更深層次的任務(wù)方面取得了很大進(jìn)展，比如解決硬編碼問題，解決困難的數(shù)學(xué)問題。但我懷疑在某些領(lǐng)域存在特殊的懸而未決的問題，在這些領(lǐng)域，整合可能沒有人類專家擁有的知識(shí)，這種智能非常有用。所以我認(rèn)為這是我期望看到的更多的事情，即利用人工智能的知識(shí)廣度。

至于它將如何具體展開，我真的不知道。預(yù)測(cè)未來真的非常非常困難。規(guī)模法則為你提供了一種預(yù)測(cè)未來的方法，它表明這種趨勢(shì)將會(huì)持續(xù)下去。我認(rèn)為我們從長遠(yuǎn)來看看到的很多趨勢(shì)，我期望它們會(huì)繼續(xù)下去。我的意思是，經(jīng)濟(jì)、國內(nèi)生產(chǎn)總值，這些類型的趨勢(shì)是真正可靠的未來指標(biāo)。但我認(rèn)為就細(xì)節(jié)而言，事情將如何實(shí)施，我認(rèn)為這真的非常非常難說。

主持人:你認(rèn)為是否有更多開發(fā)者可以進(jìn)入并使用這些新模型構(gòu)建的具體領(lǐng)域？我的意思是，對(duì)于編碼任務(wù)，已經(jīng)完成了很多工作。但是，有哪些任務(wù)具有更多的新領(lǐng)域，并且正在被當(dāng)前的模型解鎖？

賈里德:我來自研究背景，而不是商業(yè)背景。所以我不知道我有什么特別深刻的見解。但我認(rèn)為總的來說，任何需要大量技能的地方，并且這項(xiàng)任務(wù)主要涉及坐在電腦前，與數(shù)據(jù)交互。我認(rèn)為金融行業(yè)，那些經(jīng)常使用Excel表格的人。我認(rèn)為我期望法律行業(yè)也會(huì)受到影響，盡管也許法律行業(yè)受到更多的監(jiān)管，需要更多的專業(yè)知識(shí)作為認(rèn)可。但我認(rèn)為所有這些領(lǐng)域都可能是新領(lǐng)域。我認(rèn)為我提到的另一點(diǎn)是，我們?nèi)绾螌⑷斯ぶ悄苷系浆F(xiàn)有業(yè)務(wù)中？我認(rèn)為，當(dāng)電力出現(xiàn)時(shí)，有一個(gè)很長的采用周期。而且，比如說，使用電的最早、最簡(jiǎn)單的方式不一定就是最好的。你想要的不僅僅是用電動(dòng)機(jī)來取代蒸汽機(jī)。你想要某種程度上重塑工廠的運(yùn)作方式。而且我認(rèn)為，盡可能快地利用人工智能將其整合到經(jīng)濟(jì)的各個(gè)部分，我預(yù)計(jì)這里面蘊(yùn)藏著巨大的潛力。

主持人:現(xiàn)在，另一個(gè)問題是，你接受過廣泛的物理學(xué)訓(xùn)練，而且你是最早真正觀察到這種規(guī)模法則趨勢(shì)的人之一。這可能源于你是一名物理學(xué)家，并且看到了自然界中自然發(fā)生的所有這些指數(shù)現(xiàn)象。這種訓(xùn)練對(duì)于你在人工智能領(lǐng)域進(jìn)行世界一流的研究有何幫助？

賈里德:我認(rèn)為從物理學(xué)的角度來看，有用的地方在于尋找最大的圖景，最宏觀的趨勢(shì)，然后試圖使它們盡可能精確。所以，我記得遇到過一些杰出的人工智能研究人員，他們會(huì)說諸如“學(xué)習(xí)正在呈指數(shù)級(jí)收斂”之類的話。我只會(huì)問一些非常愚蠢的問題，比如，你確定它是指數(shù)級(jí)的嗎？這會(huì)不會(huì)僅僅是冪律？它是二次的嗎？這東西到底是如何收斂的？而且這是一個(gè)非常愚蠢、簡(jiǎn)單的問題。但基本上，我認(rèn)為在盡可能精確地把握你所看到的大趨勢(shì)方面，有很多成果可以摘取，而且可能仍然有很多。因?yàn)槟菚?huì)給你提供很多工具，我不知道。它允許你問，真正推動(dòng)變革意味著什么？我認(rèn)為對(duì)于縮放定律，最重要的目標(biāo)是找到一個(gè)更好的縮放定律斜率。因?yàn)檫@意味著當(dāng)你投入更多的計(jì)算資源時(shí)，你將比其他AI開發(fā)者獲得越來越大的優(yōu)勢(shì)。但在你精確地把握你所看到的趨勢(shì)之前，你不知道擊敗它到底意味著什么，你能擊敗它多少，以及如何系統(tǒng)地知道你是否實(shí)現(xiàn)了這個(gè)目標(biāo)。所以，我認(rèn)為這些就是我使用的工具。不一定非得字面上地應(yīng)用，比如說，量子場(chǎng)論到人工智能。我認(rèn)為這有點(diǎn)太具體了。

主持人:那么，是否存在特定的物理學(xué)啟發(fā)法，比如重整化、對(duì)稱性，在持續(xù)觀察或測(cè)量這個(gè)趨勢(shì)時(shí)，能派上大用場(chǎng)？

賈里德:如果你觀察人工智能模型，你會(huì)發(fā)現(xiàn)它們很大。神經(jīng)網(wǎng)絡(luò)很大。它們有數(shù)十億，現(xiàn)在是數(shù)萬億的參數(shù)。這意味著它們是由大型矩陣構(gòu)成的?；旧?，研究神經(jīng)網(wǎng)絡(luò)非常大情況下的近似值，特別是組成神經(jīng)網(wǎng)絡(luò)的矩陣很大的情況，實(shí)際上是很有用的。這實(shí)際上是物理學(xué)和數(shù)學(xué)中一種眾所周知的近似方法。那是已經(jīng)被應(yīng)用的東西。但我認(rèn)為，總的來說，提出非常天真、愚蠢的問題能讓你走得很遠(yuǎn)。我認(rèn)為人工智能，在某種意義上，就我們訓(xùn)練人工智能模型的當(dāng)前形式而言，實(shí)際上可能只有10到15年的歷史。這意味著這是一個(gè)非常新的領(lǐng)域。很多最基本的問題還沒有得到解答，比如可解釋性問題，人工智能模型究竟是如何運(yùn)作的。所以，我認(rèn)為在這個(gè)層面有很多東西要學(xué)習(xí)，而不是應(yīng)用非常、非?；ㄉ诘募夹g(shù)。

主持人:你會(huì)應(yīng)用物理學(xué)中的特定工具來進(jìn)行可解釋性研究嗎？

賈里德:我會(huì)說，可解釋性更像是生物學(xué)。它更像是神經(jīng)科學(xué)。所以，我認(rèn)為這些是相關(guān)的工具。那里還有更多的數(shù)學(xué)知識(shí)，但我認(rèn)為它更像是試圖理解大腦的特征。人工智能相對(duì)于神經(jīng)科學(xué)的優(yōu)勢(shì)在于，你可以真正測(cè)量人工智能中的一切。你無法測(cè)量大腦中每個(gè)神經(jīng)元、每個(gè)突觸的活動(dòng)，但你可以在人工智能中做到這一點(diǎn)。因此，有更多、更多的數(shù)據(jù)可用于逆向工程，以了解人工智能模型是如何工作的。

主持人:現(xiàn)在，關(guān)于縮放定律的一個(gè)方面是，它們?cè)诔^五個(gè)數(shù)量級(jí)上都成立，這太瘋狂了。這是一個(gè)有點(diǎn)反常的問題，但什么樣的經(jīng)驗(yàn)跡象會(huì)讓你相信曲線正在改變，也許我們正在脫離曲線？

賈里德:我認(rèn)為這是一個(gè)非常難的問題，對(duì)吧，因?yàn)槲抑饕褂每s放定律來診斷人工智能訓(xùn)練是否中斷。所以，我認(rèn)為一旦你看到一些東西，并且你發(fā)現(xiàn)它非常吸引人，它就會(huì)變得非常、非常有趣，可以用來檢查它在哪里失效。但我認(rèn)為我的第一反應(yīng)是，如果縮放定律失效，那是因?yàn)槲覀冊(cè)谀撤N程度上搞砸了人工智能訓(xùn)練。也許我們弄錯(cuò)了神經(jīng)網(wǎng)絡(luò)的架構(gòu)，或者訓(xùn)練中存在我們看不到的瓶頸，或者我們使用的算法的精度存在一些問題。所以，我認(rèn)為至少要花很多功夫才能說服我，至少在這些經(jīng)驗(yàn)法則的層面上，擴(kuò)展不再有效，因?yàn)樵谶^去5年的經(jīng)驗(yàn)中，很多時(shí)候，當(dāng)擴(kuò)展似乎失效時(shí)，那是因?yàn)槲覀冏鲥e(cuò)了。

主持人:有意思。所以，我想接下來要談?wù)撘粋€(gè)非常具體的、緊密相關(guān)的問題，那就是保持這條曲線持續(xù)發(fā)展所需的巨大計(jì)算能力。當(dāng)計(jì)算資源變得更加稀缺時(shí)會(huì)發(fā)生什么？你會(huì)深入到精度階梯的哪個(gè)層次？你們是否探索像FP4這樣的技術(shù)？你們是否探索像三元表示這樣的技術(shù)？你對(duì)此有什么看法？

賈里德:是的。我認(rèn)為現(xiàn)在人工智能非常低效，因?yàn)槿斯ぶ悄芴N(yùn)含著巨大的價(jià)值。因此，解鎖最強(qiáng)大的前沿模型具有巨大的價(jià)值。因此，像Anthropic這樣的公司以及其他公司都在盡可能快地行動(dòng)，以提高人工智能訓(xùn)練和人工智能推理的效率，并解鎖前沿能力。但很多重點(diǎn)實(shí)際上在于解鎖前沿。我認(rèn)為隨著時(shí)間的推移，隨著人工智能變得越來越普及，我認(rèn)為我們將真正大幅降低推理和訓(xùn)練的成本，與我們現(xiàn)在的水平相比。我的意思是，目前，我們看到算法上以及在擴(kuò)大計(jì)算規(guī)模和每年推理效率方面，都有大約3倍到10倍的增長。我猜這個(gè)笑話是，我們將讓計(jì)算機(jī)回到二進(jìn)制時(shí)代。所以，我認(rèn)為隨著時(shí)間的推移，我們將看到更低得多的精度，這是使推理更有效率的眾多途徑之一。

但總的來說，我們目前在人工智能發(fā)展方面非常、非常、非常不平衡。人工智能正在非常迅速地改進(jìn)。事物正在非常迅速地變化。我們還沒有完全實(shí)現(xiàn)當(dāng)前模型的潛力，但我們正在解鎖越來越多的能力。所以，我認(rèn)為人工智能變化不那么快時(shí)的平衡狀態(tài)看起來像是人工智能極其廉價(jià)。但很難知道我們是否會(huì)到達(dá)那個(gè)狀態(tài)。比如，人工智能可能會(huì)越來越快地變得更好，以至于智能方面的改進(jìn)會(huì)釋放出更多的潛能。因此，我們可能會(huì)繼續(xù)關(guān)注這一點(diǎn)，而不是專注于將精度降至FP2。這非常符合杰文斯悖論。

主持人:隨著智能變得越來越好，人們會(huì)越來越想要它。這并不是在降低成本，這就是諷刺之處，對(duì)吧？

賈里德:是的，我們肯定已經(jīng)看到，在某些時(shí)候，人工智能變得足夠容易獲得。也就是說，我認(rèn)為隨著人工智能系統(tǒng)變得越來越強(qiáng)大，能夠完成我們?cè)絹碓蕉嗟墓ぷ?，為前沿能力付費(fèi)是值得的。所以，我認(rèn)為我一直有并且將繼續(xù)有的一個(gè)問題是，所有的價(jià)值都在前沿嗎？或者說，在那些沒那么強(qiáng)大但更便宜的系統(tǒng)中，是否存在大量的價(jià)值？而且我認(rèn)為這種時(shí)間跨度的圖景可能是一種思考方式。我認(rèn)為你可以做很多非常簡(jiǎn)單的、小塊的任務(wù)，但我認(rèn)為能夠使用一個(gè)可以端到端完成非常復(fù)雜任務(wù)的AI模型，而不是要求我們?nèi)祟悂韰f(xié)調(diào)一個(gè)更笨的模型，將任務(wù)分解成非常非常小的片段并將它們組合起來，會(huì)方便得多。所以，我確實(shí)期望很多價(jià)值將來自最強(qiáng)大的模型，但我可能是錯(cuò)的。這可能取決于，而且可能真正取決于AI集成商有效利用AI的能力。

主持人:對(duì)于在座的各位，大家都處于職業(yè)生涯的早期，擁有巨大的潛力，你有什么建議，讓他們?cè)谖磥磉@些模型變得如此強(qiáng)大的情況下保持競(jìng)爭(zhēng)力？大家應(yīng)該擅長什么，學(xué)習(xí)什么，才能繼續(xù)做好工作？

賈里德:我認(rèn)為，正如我所提到的，理解這些模型如何工作，并能夠真正有效地利用和集成它們，這具有很大的價(jià)值，而且我認(rèn)為在構(gòu)建前沿技術(shù)方面也具有很大的價(jià)值。我不知道，我們可以把時(shí)間交給觀眾提問。

主持人:讓我們把時(shí)間交給觀眾提問。

觀眾問答

觀眾:我有一個(gè)關(guān)于縮放損失的快速問題。你展示了很多縮放定律都像是線性的，但是我們有指數(shù)級(jí)的計(jì)算能力增長，但我們?cè)诳s放定律中只有線性的進(jìn)展。但在你的最后一張幻燈片上，你展示了你期望突然出現(xiàn)指數(shù)級(jí)增長，以及我們節(jié)省了多少時(shí)間。我想問，你為什么認(rèn)為突然在這個(gè)圖表上我們是指數(shù)級(jí)的而不是線性的了？謝謝。

賈里德:是的，這是一個(gè)非常好的問題，我也不知道。我的意思是，關(guān)于米的研究發(fā)現(xiàn)有點(diǎn)像一個(gè)經(jīng)驗(yàn)性的發(fā)現(xiàn)。我傾向于這樣考慮這個(gè)問題：為了完成越來越復(fù)雜、時(shí)間跨度更長的任務(wù)，你真正需要的是某種自我糾正的能力。你需要能夠識(shí)別出你制定了一個(gè)計(jì)劃，然后你開始執(zhí)行這個(gè)計(jì)劃，但每個(gè)人都知道我們的計(jì)劃有點(diǎn)毫無價(jià)值，當(dāng)我們遇到現(xiàn)實(shí)時(shí)，我們會(huì)犯錯(cuò)。因此，我認(rèn)為決定模型能夠完成的任務(wù)的時(shí)間跨度的很大程度上是它們注意到自己做錯(cuò)了什么并糾正它的能力。而且我認(rèn)為這不算是很多的信息。僅僅注意到一兩次你犯了錯(cuò)誤以及如何糾正這個(gè)錯(cuò)誤，并不一定需要智能發(fā)生巨大的變化。但如果你解決了你的錯(cuò)誤，也許你會(huì)，大概，將任務(wù)的視野長度擴(kuò)大一倍。因?yàn)榫拖衽c其被困在這里，你會(huì)被困在兩倍遠(yuǎn)的地方。所以我認(rèn)為這就是我所看到的圖景，即你可以通過相對(duì)適度的改進(jìn)，來解鎖越來越長的視野，改進(jìn)你理解任務(wù)和自我糾正的能力。但這只是，這些只是空談。我認(rèn)為經(jīng)驗(yàn)趨勢(shì)也許是最有趣的事情，也許我們可以為為什么這個(gè)趨勢(shì)是正確的構(gòu)建更詳細(xì)的模型，但大概你的猜測(cè)和我的一樣好。

觀眾2:我這邊也有一個(gè)問題。真是榮幸。所以基本上，在增加時(shí)間范圍方面，我覺得，我對(duì)神經(jīng)網(wǎng)絡(luò)的心理模型非常簡(jiǎn)單。如果你想讓它們做某事，你就要用這樣的數(shù)據(jù)來訓(xùn)練。所以如果你想，如果你想增加時(shí)間范圍，你必須慢慢地獲得，例如，驗(yàn)證信號(hào)?，F(xiàn)在我認(rèn)為一種方法是通過產(chǎn)品來實(shí)現(xiàn)。比如，Claude的代理，然后你使用驗(yàn)證信號(hào)來逐步改進(jìn)模型。現(xiàn)在我的問題是，這對(duì)于例如編碼來說效果非常好，在編碼中你有一個(gè)足夠好的產(chǎn)品，你可以部署它然后獲得驗(yàn)證信號(hào)。但其他領(lǐng)域呢？比如在其他領(lǐng)域，我們只是擴(kuò)大數(shù)據(jù)標(biāo)注員的規(guī)模來實(shí)現(xiàn)通用人工智能，還是有更好的方法？

賈里德:是的，這是個(gè)好問題。我的意思是，當(dāng)一些懷疑論者問我，為什么我認(rèn)為我們能夠擴(kuò)展并獲得像廣泛的人類水平的人工智能時(shí)，基本上是因?yàn)槟闼f的。存在某種非常具有操作性的路徑，你只是為人工智能模型構(gòu)建越來越多不同的任務(wù)，這些任務(wù)越來越復(fù)雜，時(shí)間跨度越來越長。然后你只是轉(zhuǎn)動(dòng)曲柄，在那些更復(fù)雜、更長的任務(wù)上用強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練。所以我覺得那是人工智能進(jìn)展的最壞情況。我的意思是，考慮到在人工智能領(lǐng)域的投資規(guī)模，以及我認(rèn)為人工智能正在創(chuàng)造的價(jià)值水平，我認(rèn)為如果必要的話，人們會(huì)這么做。也就是說，我認(rèn)為有很多方法可以簡(jiǎn)化它。最好的方法是訓(xùn)練一個(gè)人工智能模型來監(jiān)督和管理，比如用Claude來說明你正在訓(xùn)練什么，當(dāng)你有一個(gè)人工智能模型提供監(jiān)督，而不僅僅是說，你是否正確地完成了這個(gè)極其復(fù)雜的任務(wù)？比如，你是否成為了教職員工并獲得了終身教職？這會(huì)花費(fèi)六年或七年嗎？這是否是一個(gè)端到端的任務(wù)，在七年后，你最終要么獲得終身教職，要么沒有？這太荒謬了。這是非常低效的，但它可以提供更詳細(xì)的監(jiān)督，指出你做得好或做得差。我認(rèn)為，隨著我們能夠在這種方式下越來越多地使用人工智能，我們或許能夠更有效地訓(xùn)練那些長期任務(wù)。而且我認(rèn)為我們?cè)谀撤N程度上已經(jīng)在這么做了。

主持人:我們來回答最后一個(gè)問題。

觀眾3:是的，我想在此基礎(chǔ)上進(jìn)一步探討。當(dāng)你基本上在開發(fā)這些任務(wù)，然后用強(qiáng)化學(xué)習(xí)訓(xùn)練它們時(shí)，你會(huì)嘗試使用大型語言模型來創(chuàng)建這些任務(wù)嗎？比如你用于強(qiáng)化學(xué)習(xí)的任務(wù)，還是仍然使用人工？

賈里德:很好的問題。我覺得兩者都有。我的意思是，很明顯，我們盡可能多地使用人工智能來構(gòu)建任務(wù)，比如說，用代碼生成任務(wù)。我們也會(huì)要求人類創(chuàng)建任務(wù)。所以基本上是這些事情的混合。我認(rèn)為隨著人工智能變得越來越好，我們希望能越來越多地利用人工智能。當(dāng)然，這些任務(wù)的難度前沿也在不斷提高。所以我認(rèn)為人類仍然會(huì)參與其中。好的，謝謝。

主持人:好的，讓我們?yōu)橘Z里德鼓掌。非常感謝。

《我的美女房東》電視劇免費(fèi)在線觀看全集_完整版?？定格網(wǎng)?？免費(fèi)...

《我的美女房東》電視劇免費(fèi)在線觀看全集_完整版- 定格網(wǎng)- 免費(fèi)影院_高清電影網(wǎng)_熱播電視劇_影視大全我的美女房東 《我的美女房東》電視劇全集在線觀看-高清免費(fèi)完整版-江漢影院-免費(fèi)電影網(wǎng)，高清影視大全，vip電影電視劇在線看我的美女房東

我的美女房東未刪減版免費(fèi)觀看

我的美女房東未刪減版免費(fèi)觀看我的美女房東
《我的美女房東6》泰國劇免費(fèi)在線播放-泰國劇-68影院我的美女房東6