機(jī)器之心報(bào)道
機(jī)器之心編輯部
什么？2025年世界人工智能大會(huì)（WAIC）第二天，幾位行業(yè)大佬「吵」起來(lái)了。
是的，你沒(méi)聽(tīng)錯(cuò)！他們「吵架」的熱度，堪比盛夏的天氣，直逼40度高溫。
事情的起因是在一場(chǎng)圓桌論壇上，剛聊到模型訓(xùn)練范式，大家就展開(kāi)了尖峰辯論。
但這場(chǎng)關(guān)于訓(xùn)練范式的思想碰撞，很快轉(zhuǎn)移到了模型架構(gòu)、訓(xùn)練數(shù)據(jù)、開(kāi)閉源等尖銳的問(wèn)題上。每個(gè)問(wèn)題都深入大模型發(fā)展的核心要害。
最直觀的感受：「這是AI行業(yè)頂流的公開(kāi)battle，我愿稱之為今年最硬核『吵架』現(xiàn)場(chǎng)?！古_(tái)上嘉賓你來(lái)我往，臺(tái)下觀眾掌聲不斷。
而這場(chǎng)圓桌論壇，是由商湯科技承辦的WAIC2025大模型論壇的「模型之問(wèn)」圓桌——探討的是「大模型技術(shù)演進(jìn)與發(fā)展之路」
圓桌主持人由商湯科技聯(lián)合創(chuàng)始人、執(zhí)行董事、首席科學(xué)家林達(dá)華擔(dān)任主持。嘉賓陣容堪稱當(dāng)前大模型生態(tài)的多路代表：包括階躍星辰首席科學(xué)家張祥雨，上海人工智能實(shí)驗(yàn)室青年領(lǐng)軍科學(xué)家、書生大模型負(fù)責(zé)人陳愷，北京智譜華章科技股份有限公司總裁王紹蘭，范式集團(tuán)聯(lián)合創(chuàng)始人、首席科學(xué)官陳雨強(qiáng)，英偉達(dá)全球開(kāi)發(fā)者生態(tài)副總裁NeilTrevett
可以說(shuō)這場(chǎng)論壇匯聚了來(lái)自基礎(chǔ)模型研發(fā)、行業(yè)落地應(yīng)用、算力平臺(tái)等多個(gè)關(guān)鍵環(huán)節(jié)的代表性力量，是一次不同路徑、不同視角的深入對(duì)話。
在這場(chǎng)30分鐘的對(duì)話中，每一位嘉賓發(fā)言的背后，既是對(duì)技術(shù)路線的選擇，也關(guān)乎產(chǎn)業(yè)未來(lái)的走向，值得每一個(gè)人深思。
一開(kāi)場(chǎng)，林達(dá)華表示：「大模型技術(shù)發(fā)展到今天，可以說(shuō)是在繁花似錦的背后，我們也進(jìn)入到了一個(gè)十字路口。過(guò)去大半年的時(shí)間里，大模型的技術(shù)格局經(jīng)歷了一個(gè)重要的范式轉(zhuǎn)變。從最初以預(yù)訓(xùn)練為主、監(jiān)督學(xué)習(xí)為輔的模式——這一范式由OpenAI所開(kāi)創(chuàng)——逐漸向注重推理能力提升的強(qiáng)化學(xué)習(xí)范式過(guò)渡。這個(gè)轉(zhuǎn)變標(biāo)志著AI領(lǐng)域在技術(shù)上的進(jìn)一步演化。」
隨著這個(gè)觀點(diǎn)的拋出，這場(chǎng)圍繞大模型的圓桌論壇正式拉開(kāi)帷幕。
預(yù)訓(xùn)練與強(qiáng)化學(xué)習(xí)
在大模型爆發(fā)初期，基本是以預(yù)訓(xùn)練為主，比如OpenAI發(fā)布GPT-4o時(shí)，當(dāng)時(shí)所有的計(jì)算資源都投入在預(yù)訓(xùn)練上。很多人認(rèn)為如果預(yù)訓(xùn)練不足，模型能力上限將被鎖死。
隨著o1的發(fā)布，OpenAI提出在預(yù)訓(xùn)練好的模型上，用強(qiáng)化學(xué)習(xí)做后訓(xùn)練（PostTraining），能顯著提高模型推理能力。如下圖左邊顯示隨著訓(xùn)練時(shí)間的增加，模型性能隨之提升。這種走勢(shì)是每個(gè)訓(xùn)練AI模型的人都熟悉的。
右邊表明在「測(cè)試時(shí)間」增加時(shí)，模型的表現(xiàn)也會(huì)得到改善。這一發(fā)現(xiàn)代表了一個(gè)全新的擴(kuò)展維度——不僅僅是訓(xùn)練時(shí)間擴(kuò)展，還包括測(cè)試時(shí)間擴(kuò)展，用到的訓(xùn)練方法主要是強(qiáng)化學(xué)習(xí)。
o1的技術(shù)博客中展示了一張圖表：準(zhǔn)確度和測(cè)試時(shí)計(jì)算之間存在對(duì)數(shù)線性關(guān)系，o1的性能隨著訓(xùn)練時(shí)間和測(cè)試時(shí)的計(jì)算而平穩(wěn)提高
在OpenAI看來(lái)，未來(lái)強(qiáng)化學(xué)習(xí)計(jì)算可能會(huì)成為主導(dǎo)。
從GPT-4o到o1范式的轉(zhuǎn)變，不禁讓我們思考，原本由OpenAI所開(kāi)創(chuàng)的以預(yù)訓(xùn)練為主、監(jiān)督學(xué)習(xí)為輔的范式，現(xiàn)在逐漸轉(zhuǎn)向了更加注重推理能力提升的強(qiáng)化學(xué)習(xí)范式。此外，OpenAI前首席科學(xué)家伊利亞也提出了類似觀點(diǎn)，預(yù)訓(xùn)練時(shí)代即將終結(jié)。
隨著推理模型的崛起，強(qiáng)化學(xué)習(xí)越來(lái)越得到大家重視。因此一個(gè)值得深思的問(wèn)題被提出，預(yù)訓(xùn)練和強(qiáng)化學(xué)習(xí)我們應(yīng)該怎么平衡？
張祥雨首先肯定了這套范式的合理性（從預(yù)訓(xùn)練到監(jiān)督微調(diào)再到RL）。對(duì)于預(yù)訓(xùn)練而言，本質(zhì)就是壓縮語(yǔ)料的一個(gè)過(guò)程，之后在模型內(nèi)部形成一個(gè)更加緊湊的表示。這個(gè)表示對(duì)模型學(xué)習(xí)世界知識(shí)和建模非常有幫助。
但與此同時(shí)，預(yù)訓(xùn)練通?；贜extToken預(yù)測(cè)，這其實(shí)是一種行為克隆的形式。而行為克隆傳統(tǒng)上被認(rèn)為存在一些難以規(guī)避的問(wèn)題——比如無(wú)論你用了多少數(shù)據(jù)、模型做得多大，它都很難真正建立起目標(biāo)導(dǎo)向的推理能力。
因?yàn)閴嚎s只是盡可能復(fù)現(xiàn)已有內(nèi)容，而推理本質(zhì)上是要求模型能找到一條邏輯自洽、通向目標(biāo)的因果鏈。因此，RL應(yīng)運(yùn)而生。
張祥雨還指出了未來(lái)這條范式的發(fā)展方向，他認(rèn)為如何進(jìn)一步擴(kuò)展RL，使其能夠接受自然語(yǔ)言反饋，而不僅僅是像數(shù)學(xué)、代碼這種確定性反饋很關(guān)鍵。
在張祥雨的分享中，我們捕捉到了一個(gè)非常重要且值得深思的技術(shù)范式拓展，那就是將強(qiáng)化學(xué)習(xí)進(jìn)一步延伸到大規(guī)模預(yù)訓(xùn)練。特別是在推理階段（即TestTime）使用強(qiáng)化學(xué)習(xí)來(lái)增強(qiáng)推理性能，這確實(shí)是一個(gè)非常具有啟發(fā)性的建議。
陳愷則強(qiáng)調(diào)了預(yù)訓(xùn)練的重要性。他表示，強(qiáng)化學(xué)習(xí)之所以能夠大放異彩，是因?yàn)樗蕾囉谝粋€(gè)強(qiáng)大的冷啟動(dòng)模型。過(guò)去，冷啟動(dòng)模型可能依賴于預(yù)訓(xùn)練和監(jiān)督學(xué)習(xí)（SFT），但現(xiàn)在大家對(duì)預(yù)訓(xùn)練的重視程度逐漸提高。預(yù)訓(xùn)練為強(qiáng)化學(xué)習(xí)提供了一個(gè)良好的基礎(chǔ)，使其能夠探索多種未來(lái)的可能性，從而發(fā)揮其應(yīng)有的作用。
陳愷進(jìn)一步討論了強(qiáng)化學(xué)習(xí)未來(lái)面臨的挑戰(zhàn)，即獎(jiǎng)勵(lì)或反饋機(jī)制的問(wèn)題。這個(gè)問(wèn)題將成為強(qiáng)化學(xué)習(xí)進(jìn)一步拓展到更多任務(wù)時(shí)的一個(gè)關(guān)鍵挑戰(zhàn)。目前，強(qiáng)化學(xué)習(xí)主要用于解決一些有明確答案的任務(wù)，比如填空和問(wèn)答題，但實(shí)際上，許多有效且有價(jià)值的任務(wù)并沒(méi)有唯一確定的答案（這和張祥雨的觀點(diǎn)類似）。因此，強(qiáng)化學(xué)習(xí)需要探索新的獎(jiǎng)勵(lì)和反饋機(jī)制，這可能依賴于新的評(píng)價(jià)標(biāo)準(zhǔn)，或者通過(guò)與環(huán)境的實(shí)際交互反饋來(lái)形成獎(jiǎng)勵(lì)體系。
此外，陳愷還表示強(qiáng)化學(xué)習(xí)也給基礎(chǔ)設(shè)施帶來(lái)了新的挑戰(zhàn)。盡管強(qiáng)化學(xué)習(xí)已經(jīng)取得了一些進(jìn)展，但從效率上來(lái)看，仍然存在較大的提升空間。強(qiáng)化學(xué)習(xí)需要大量算力，且模型需要不斷進(jìn)行探索和學(xué)習(xí)。如果未來(lái)強(qiáng)化學(xué)習(xí)開(kāi)始依賴更多的交互反饋，這對(duì)基礎(chǔ)設(shè)施的要求將會(huì)更高，對(duì)相關(guān)技術(shù)和資源的挑戰(zhàn)也將更加嚴(yán)峻。
Transformer架構(gòu)與非Transformer架構(gòu)
在整個(gè)模型研發(fā)過(guò)程中，訓(xùn)練范式是非常重要的一部分，而訓(xùn)練范式又依托于高效的模型架構(gòu)。
從2017年至今，Transformer統(tǒng)治AI領(lǐng)域已經(jīng)八年之久。如果從2019年的GPT-2出發(fā)，回顧至2024–2025年的ChatGPT、DeepSeek-V3、LLaMA4等主流模型，不難發(fā)現(xiàn)一個(gè)有趣的現(xiàn)象：盡管模型能力不斷提升，但其整體架構(gòu)基本保持高度一致。
然而，隨著模型參數(shù)飆升至千億級(jí)、上下文窗口拉伸至百萬(wàn)Token，Transformer的一些限制開(kāi)始顯現(xiàn)。比如，其最大的問(wèn)題是自注意力機(jī)制的O(n^2)擴(kuò)展性，當(dāng)序列長(zhǎng)度n增加時(shí)，計(jì)算量和內(nèi)存占用呈平方級(jí)增長(zhǎng)。其次，注意力機(jī)制需要存儲(chǔ)大量中間結(jié)果和KV緩存，顯存很快被占滿；第三，Transformer缺乏顯式的長(zhǎng)期記憶機(jī)制，導(dǎo)致在需要多步推理或跨文檔對(duì)齊的任務(wù)上，小樣本泛化能力急劇下降。
對(duì)此，業(yè)界和學(xué)界開(kāi)始新的探索，他們主要沿著兩條技術(shù)路線展開(kāi)。
一是優(yōu)化現(xiàn)有Transformer架構(gòu)，例如，位置編碼從最初的絕對(duì)位置發(fā)展為旋轉(zhuǎn)位置編碼（RoPE）；注意力機(jī)制也從標(biāo)準(zhǔn)的多頭注意力逐步過(guò)渡為更高效的分組查詢注意力（Grouped-QueryAttention），另外在激活函數(shù)方面，GELU被更高效的SwiGLU所取代。
另一條則是跳出Transformer，探索全新架構(gòu)范式。如Mamba系列通過(guò)狀態(tài)空間模型（SSM）實(shí)現(xiàn)線性復(fù)雜度的長(zhǎng)序列建模，展現(xiàn)出比Transformer更優(yōu)的延遲性能與可控推理能力；RetNet、RWKV等結(jié)構(gòu)則融合了RNN的記憶優(yōu)勢(shì)與Transformer的并行性，力圖找到效率與能力的最優(yōu)平衡點(diǎn)。
值得注意的是，當(dāng)前的大模型架構(gòu)發(fā)展也呈現(xiàn)出混合設(shè)計(jì)趨勢(shì)，如由AI21Labs推出的Jamba就是混合架構(gòu)典型，其結(jié)合了經(jīng)典的Transformer模塊和Mamba模塊。
年初發(fā)布的DeepSeekV3表明，即使是優(yōu)化現(xiàn)有Transformer架構(gòu)，也可以大幅度降低模型訓(xùn)練和推理成本。這就帶來(lái)一個(gè)值得深思的問(wèn)題：我們是基于Transformer架構(gòu)進(jìn)行創(chuàng)新？還是開(kāi)發(fā)非Transformer架構(gòu)？
對(duì)于這一問(wèn)題，張祥雨表示，模型架構(gòu)并不是最重要的決定因素，架構(gòu)是為系統(tǒng)和算法服務(wù)的。Transformer架構(gòu)沒(méi)有問(wèn)題?，F(xiàn)在流傳下來(lái)的仍然是最經(jīng)典的Transformer架構(gòu)。
但現(xiàn)在的問(wèn)題是，算法開(kāi)始向RL遷移，而我們的應(yīng)用場(chǎng)景也從推理時(shí)代向智能體時(shí)代轉(zhuǎn)變。而智能體最重要的特性是自主性，它必須能夠主動(dòng)與環(huán)境交互，并從環(huán)境中進(jìn)行學(xué)習(xí)。
這就意味著，我們的模型架構(gòu)需要具備類似人類的能力，能夠建模一種無(wú)限流或無(wú)限上下文的能力。因此，張祥雨認(rèn)為，（在智能體時(shí)代）傳統(tǒng)模式已經(jīng)遇到了阻礙，像是傳統(tǒng)的RNN架構(gòu)，未來(lái)短時(shí)間內(nèi)可能會(huì)重新成為下一代主流架構(gòu)的設(shè)計(jì)考慮之一。
真實(shí)數(shù)據(jù)與合成數(shù)據(jù)之爭(zhēng)
但我們不可忽視的是，大模型的背后，還有數(shù)據(jù)。過(guò)去，AlexNet及其后續(xù)工作解鎖了ImageNet，Transformer的興起解鎖了海量的互聯(lián)網(wǎng)數(shù)據(jù)。然而今天，我們正面臨一個(gè)殘酷現(xiàn)實(shí)：高質(zhì)量語(yǔ)料正在趨于枯竭。隨著已被爬取的內(nèi)容越來(lái)越多，邊際新增的優(yōu)質(zhì)數(shù)據(jù)正在減少。
有研究預(yù)計(jì)，如果LLM保持現(xiàn)在的發(fā)展勢(shì)頭，預(yù)計(jì)在2028年左右，已有的數(shù)據(jù)儲(chǔ)量將被全部利用完。屆時(shí)，基于大數(shù)據(jù)的大模型的發(fā)展將可能放緩甚至陷入停滯。與此同時(shí)，擁有版權(quán)、隱私等限制的數(shù)據(jù)，更是加劇了垂直領(lǐng)域的發(fā)展。
圖源：來(lái)自論文《Willwerunoutofdata?LimitsofLLMscalingbasedonhuman-generateddata》
在此背景下，合成數(shù)據(jù)被寄予厚望，國(guó)內(nèi)外很多公司開(kāi)始采用這種方式。比如Anthropic首席執(zhí)行官DarioAmodei曾經(jīng)表示，對(duì)于高質(zhì)量數(shù)據(jù)耗盡的困境，Anthropic正在嘗試模型合成數(shù)據(jù)的方法，也就是使用模型生成更多已有類型的數(shù)據(jù)。這一策略也在OpenAI、Meta、GoogleDeepMind等公司的新一代模型訓(xùn)練中被廣泛應(yīng)用。
然而，合成數(shù)據(jù)在一定程度上緩解了數(shù)據(jù)難題，但它本身也引發(fā)了一系列新的挑戰(zhàn)與隱憂。2024年登上《自然》封面的一項(xiàng)研究認(rèn)為如果放任大模型用生成的數(shù)據(jù)進(jìn)行訓(xùn)練，AI可能會(huì)崩潰，在短短幾代內(nèi)將原始內(nèi)容迭代成無(wú)法挽回的胡言亂語(yǔ)。
一邊是高質(zhì)量數(shù)據(jù)資源日漸枯竭，另一邊則是對(duì)合成數(shù)據(jù)的高度依賴與不確定性并存。
這種擔(dān)憂，也發(fā)生在英偉達(dá)內(nèi)部。NeilTrevett表示，英偉達(dá)在圖形生成和物理仿真方面也面臨數(shù)據(jù)困擾的問(wèn)題，尤其是那些無(wú)法獲取、獲取成本高、涉及倫理風(fēng)險(xiǎn)或隱私問(wèn)題的數(shù)據(jù)。
圓桌現(xiàn)場(chǎng)，NeilTrevett給出了英偉達(dá)的一個(gè)解決思路，利用物理仿真生成模擬場(chǎng)景，用來(lái)訓(xùn)練大模型。這種方式尤其適用于構(gòu)造一些在真實(shí)世界中難以采集的邊緣案例，比如交通事故場(chǎng)景，或者機(jī)器人遇到異常情況時(shí)的應(yīng)對(duì)。
不過(guò)，NeilTrevett也強(qiáng)調(diào)：不能完全依賴合成數(shù)據(jù)。用于合成數(shù)據(jù)的生成模型本身可能存在偏差、誤差或盲區(qū)，因此需要建立真實(shí)世界的驗(yàn)證機(jī)制和反饋閉環(huán)，比如通過(guò)human-in-the-loop的方式，來(lái)輔助驗(yàn)證訓(xùn)練效果是否真實(shí)可用。NeilTrevett還給出了幾個(gè)非常有前景的技術(shù)路徑，包括自監(jiān)督學(xué)習(xí)、主動(dòng)學(xué)習(xí)、混合式訓(xùn)練流程等。
王紹蘭則給出了不一樣的觀點(diǎn)，他認(rèn)為對(duì)于預(yù)訓(xùn)練而言，大家常提到的互聯(lián)網(wǎng)數(shù)據(jù)耗盡，其實(shí)是一個(gè)量的問(wèn)題，可能更關(guān)鍵的是質(zhì)的問(wèn)題。也就是說(shuō)，當(dāng)初大模型所依賴的大量互聯(lián)網(wǎng)數(shù)據(jù)，它們的質(zhì)量是否真的足夠好？這需要重新審視。接下來(lái)應(yīng)該是進(jìn)一步提升預(yù)訓(xùn)練數(shù)據(jù)中的質(zhì)量。
王紹蘭還提到所謂數(shù)據(jù)耗盡并不像大家說(shuō)的那樣夸張，原因是行業(yè)數(shù)據(jù)還沉淀在行業(yè)中，沒(méi)有被用來(lái)訓(xùn)練模型。因此大模型想要落地到行業(yè)中去，必須用行業(yè)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練。
關(guān)于合成數(shù)據(jù)問(wèn)題，王紹蘭認(rèn)為隨著大模型場(chǎng)景的不斷擴(kuò)展，一些場(chǎng)景數(shù)據(jù)是極其稀缺的，甚至是完全不存在的。因此，只能依賴合成數(shù)據(jù)和仿真環(huán)境來(lái)補(bǔ)足。
然而，這種做法會(huì)帶來(lái)一系列挑戰(zhàn)，如果仿真不夠真實(shí)，那么生成的數(shù)據(jù)也會(huì)存在偏差，最終會(huì)影響模型訓(xùn)練效果。因此，我們不能把合成數(shù)據(jù)看作一個(gè)萬(wàn)能鑰匙，它有價(jià)值，但不能解決一切問(wèn)題，背后仍有大量工程上的挑戰(zhàn)需要克服。
最后，王紹蘭還建議：對(duì)于行業(yè)中非敏感、非涉密的關(guān)鍵數(shù)據(jù)，應(yīng)當(dāng)考慮在行業(yè)內(nèi)部建立數(shù)據(jù)共享機(jī)制或聯(lián)盟組織，共同挖掘、整理這些數(shù)據(jù)，為大模型在各類實(shí)際場(chǎng)景中的應(yīng)用提供更可靠的「彈藥庫(kù)」。這一建議一發(fā)出，現(xiàn)場(chǎng)掌聲不斷。
基礎(chǔ)模型與Agent向左向右
從來(lái)不是一道單選題
進(jìn)入到2025年，我們可以觀察到一個(gè)很明顯的趨勢(shì)，基礎(chǔ)模型的研發(fā)速度逐漸放緩，而以Agent為代表的應(yīng)用成為了爆點(diǎn)。國(guó)內(nèi)外廠商陸續(xù)推出了自動(dòng)化執(zhí)行任務(wù)的Agent產(chǎn)品，比如OpenAI推出的Operator、深度研究以及ChatGPTagent、智譜AI推出的AutoGLM沉思等。
這正是隨著大模型進(jìn)入到應(yīng)用深水區(qū)以來(lái)，行業(yè)內(nèi)加速構(gòu)建商業(yè)閉環(huán)并著眼產(chǎn)業(yè)落地的真實(shí)寫照。同時(shí)，對(duì)于一些以AGI為終極目標(biāo)的廠商來(lái)說(shuō)，基礎(chǔ)模型的研發(fā)同樣不會(huì)停滯。如何平衡基礎(chǔ)模型投入與應(yīng)用落地之間的關(guān)系，成為廠商在戰(zhàn)略決策層面的核心議題。
智譜在持續(xù)迭代基座大模型GLM系列，覆蓋語(yǔ)言模型、多模態(tài)模型等的同時(shí)，也積極推動(dòng)大模型在各行各業(yè)的落地。面對(duì)這種雙軌布局是否太分散精力的疑問(wèn)，王紹蘭表示兩者并不沖突。
一方面，基礎(chǔ)模型仍處于快速演進(jìn)的階段，行業(yè)普遍對(duì)當(dāng)前模型成果感到振奮，但距離AGI的目標(biāo)仍有較大差距。如果類比自動(dòng)駕駛的分級(jí)，當(dāng)前大模型大致處于L3階段，僅完成了預(yù)訓(xùn)練、對(duì)齊與基礎(chǔ)推理，并剛剛進(jìn)入到了具備反思與沉思能力的深度推理階段。未來(lái)仍需要繼續(xù)進(jìn)化，即使是OpenAI即將發(fā)布的GPT-5，與AGI仍有距離。他認(rèn)為，包括智譜在內(nèi)，對(duì)基礎(chǔ)模型的探索將持續(xù)下去。
另一方面，王紹蘭也強(qiáng)調(diào)，模型的價(jià)值不應(yīng)只停留在純理論研究層面。如果不展開(kāi)模型的商業(yè)化落地，它們的價(jià)值就無(wú)從體現(xiàn)。大模型要「用起來(lái)」，直至變成生產(chǎn)力革命的那一天。如今，大模型正通過(guò)Agent等形態(tài)拓展自身應(yīng)用。同時(shí)在落地的過(guò)程中，各行各業(yè)的領(lǐng)軍企業(yè)和生態(tài)伙伴也要具備大模型思維，積極擁抱這場(chǎng)范式變革。
同樣地，第四范式在大模型落地方面也走在了行業(yè)前列，尤其是將AI技術(shù)應(yīng)用于金融等重點(diǎn)行業(yè)。對(duì)于如何平衡基礎(chǔ)模型的持續(xù)研發(fā)與行業(yè)應(yīng)用落地，陳雨強(qiáng)首先指出在技術(shù)發(fā)展極為迅速的當(dāng)下，要保證自身在行業(yè)中的競(jìng)爭(zhēng)力，其中最關(guān)鍵的是要用好已有的開(kāi)源或閉源模型。
接著，陳雨強(qiáng)談到了基礎(chǔ)模型能力以及引發(fā)的數(shù)據(jù)問(wèn)題。當(dāng)前，已經(jīng)有超過(guò)30%的流量來(lái)自模型輸出而非傳統(tǒng)搜索引擎，這也導(dǎo)致面臨人為破壞數(shù)據(jù)等風(fēng)險(xiǎn)。此外，用于評(píng)估大模型的工具（如Arena）雖有價(jià)值，但也存在局限。很多普通用戶不關(guān)心答案是否真的正確，而是像不像好答案，這就導(dǎo)致排版精美的算法在輸出結(jié)果時(shí)得分更高，進(jìn)一步加劇數(shù)據(jù)偏差問(wèn)題。
最后，他提到，在企業(yè)落地中，尤其涉及金融等高敏感領(lǐng)域，仍存在諸多挑戰(zhàn)。比如在反欺詐場(chǎng)景，基礎(chǔ)大模型難以直接處理像每天十億用戶交易記錄這樣的大規(guī)模數(shù)據(jù)輸入。這意味著，大模型的落地要在基礎(chǔ)模型能力、數(shù)據(jù)質(zhì)量等多個(gè)層面持續(xù)進(jìn)行技術(shù)突破。
開(kāi)源模型即使非最強(qiáng)
也能鞭策整個(gè)行業(yè)進(jìn)步
除了訓(xùn)練范式、架構(gòu)的持續(xù)進(jìn)化以及解決數(shù)據(jù)瓶頸之外，開(kāi)源與閉源同樣影響著大模型技術(shù)路徑的選擇、產(chǎn)業(yè)生態(tài)的構(gòu)建以及人工智能的格局。
一直以來(lái)，AI領(lǐng)域便存在著開(kāi)源與閉源兩大陣營(yíng)。在國(guó)內(nèi)外頭部大模型廠商中，OpenAI在GPT-3之后就完全轉(zhuǎn)向了閉源，而以LLaMA、DeepSeek、Qwen、Kimi等為代表的開(kāi)源模型陣營(yíng)，正不斷逼近甚至部分超越閉源大模型的性能表現(xiàn)。
其中，DeepSeek的開(kāi)源模型憑借其優(yōu)異的性能和極低的部署成本，迅速在全球范圍內(nèi)獲得了廣泛關(guān)注和應(yīng)用，甚至對(duì)以英偉達(dá)GPU和閉源模型為主導(dǎo)的傳統(tǒng)AI產(chǎn)業(yè)鏈構(gòu)成了沖擊?？梢灶A(yù)見(jiàn)，開(kāi)源與閉源將在未來(lái)的AI生態(tài)中持續(xù)展開(kāi)博弈。
陳愷從自己多年來(lái)的開(kāi)源領(lǐng)域經(jīng)驗(yàn)出發(fā)，探討了開(kāi)源如何在大模型時(shí)代產(chǎn)生深遠(yuǎn)影響。就在昨天，他所在的上海人工智能實(shí)驗(yàn)室開(kāi)源了「書生」科學(xué)多模態(tài)大模型Intern-S1，并基于此打造了「書生」科學(xué)發(fā)現(xiàn)平臺(tái)Intern-Discovery。
在他看來(lái)，一方面，開(kāi)源不僅重塑行業(yè)內(nèi)不同玩家之間的分工與資源投入方式，還推動(dòng)了資源的更合理配置。另一方面，盡管開(kāi)源模型未必是性能最強(qiáng)的，但它能夠有效避免重復(fù)投入，促使廠商專注于真正需要解決的問(wèn)題。
更重要的是，對(duì)于行業(yè)內(nèi)仍在訓(xùn)練基礎(chǔ)模型并以AGI為終極目標(biāo)的玩家來(lái)說(shuō)，開(kāi)源無(wú)疑形成一種實(shí)質(zhì)性壓力：如果閉源模型比不過(guò)開(kāi)源成果，其存在價(jià)值可能就會(huì)受到質(zhì)疑。因此，開(kāi)源不一定總能做到最好，卻能鞭策整個(gè)行業(yè)以更高效的方式持續(xù)演進(jìn)。
而作為全球領(lǐng)先的芯片供應(yīng)商，英偉達(dá)高度重視并持續(xù)支持全球AI生態(tài)的發(fā)展，并投入很多。特別在開(kāi)源方面，英偉達(dá)為開(kāi)源大模型訓(xùn)練與部署提供了算力引擎，通過(guò)強(qiáng)大的芯片、好用的工具讓模型易用性更強(qiáng)。
NeilTrevett表示，開(kāi)源的力量毋庸置疑，如其他技術(shù)領(lǐng)域一樣，開(kāi)源是推動(dòng)AI行業(yè)前進(jìn)的強(qiáng)大「工具」。然而，開(kāi)源是否適合每家公司，需要他們根據(jù)自身成本效益和競(jìng)爭(zhēng)策略來(lái)判斷，比如開(kāi)源是否能節(jié)省成本、是否會(huì)削弱自身競(jìng)爭(zhēng)優(yōu)勢(shì)等。因此，他認(rèn)為，未來(lái)行業(yè)可能會(huì)走向開(kāi)源與閉源結(jié)合的混合模式。
同時(shí)，開(kāi)源也帶來(lái)了一些新挑戰(zhàn)，比如模型分叉、碎片化和濫用，需要行業(yè)共同探索治理方式。NeilTrevett堅(jiān)信，隨著行業(yè)的發(fā)展，這些都會(huì)逐步得到解決。
至此，這場(chǎng)圓桌論壇畫上了圓滿的句號(hào)。從訓(xùn)練范式到架構(gòu)演進(jìn)，從數(shù)據(jù)焦慮到開(kāi)源閉源之爭(zhēng)，再到Agent落地與行業(yè)融合，這場(chǎng)由商湯承辦的「模型之問(wèn)」圓桌論壇，展現(xiàn)了大模型時(shí)代最真實(shí)的技術(shù)分歧，也匯聚了業(yè)界最權(quán)威的思考。
這場(chǎng)硬核辯論，或許正是AI行業(yè)走向成熟的重要一步。
兩部爆火劇告訴我們,被狠狠羨慕的愛(ài)情,都藏著這些一樣的套路
”主角：孟嬰寧，陳妄甜軟狡黠小狐貍&荷爾蒙酷man退役軍人久別重逢，雙向暗戀，男主比女主大6歲———16.《渺渺無(wú)期》作者：歸漁文案：高中三年，在于渺渺心里，大多數(shù)回憶就像講臺(tái)上隨手被揚(yáng)在風(fēng)里的粉筆灰，早已無(wú)跡可尋-_。唯獨(dú)少年穿著校服倚在欄桿上抬頭看天的背影，一路逆著時(shí)光愈發(fā)清晰。很久以后，他問(wèn)她希望你能滿意|——。
《你的名字》劇情老套?從現(xiàn)實(shí)到魔幻,那才是愛(ài)情的終極形態(tài)?？小嘿...
一人一席位，從主臺(tái)的左右兩邊往下排。臺(tái)下的左手邊是亨王北城梟，第二位是胤王北鴻信，第三第四分別是一母同胞的文王北蕭山和武王北龍鳴，右手邊的則是各個(gè)臣子——_?！暗钕?，殿下，”凌惠平跪在北鴻信的席邊兒為他斟酒，亮閃閃的眸子瞟著正在享受太監(jiān)揉肩的鳩寰，緊張兮兮的道：“殿下，我看皇后娘娘不像是好人到此結(jié)束了？——-。
我以為我們是秘密戀人,卻沒(méi)想到他早已另有所愛(ài)
愛(ài)情這條路，她繞了些彎路，走過(guò)崎嶇，越過(guò)迷霧，最終能不能觸到愛(ài)之彼端？片段節(jié)選：藍(lán)昕疑惑地望著他，說(shuō)：“不過(guò)是一條很普通的項(xiàng)鏈?！薄班牛阅悴灰獡?dān)心我拿到手會(huì)偷梁換柱|。”“好吧，既然你這么想看，就給你看一眼吧_?！彼{(lán)昕拿出項(xiàng)鏈遞給他，他定定地望著項(xiàng)鏈上的戒指吊墜，目光深不可測(cè)，..
延伸閱讀：與 這場(chǎng)大模型圓桌把AI行業(yè)的分歧說(shuō)透：了！ 的相關(guān)文章
外賣袋里偷偷藏2萬(wàn)張寶貝尋親卡
為什么有的作家沒(méi)有經(jīng)歷體驗(yàn)過(guò)那樣的生活，依然可以創(chuàng)造出描寫特別逼真，真實(shí)性特別高的小說(shuō)？
少林景區(qū)將全面實(shí)行線上預(yù)約購(gòu)票
「雪姨」王琳給兒子打電話情緒失控，哭訴到「當(dāng)我的兒子是否覺(jué)得可恥」，你從中看到了怎樣的親子心理問(wèn)題？
【時(shí)代少年團(tuán)】《重生之誤入偶像劇宇宙》完整版
上海臺(tái)風(fēng)
當(dāng)MC服里加入秦始皇騎北極熊(玩家：你撫琵琶奏琴弦，我坐戲子樓臺(tái)前???????
B萌
《手術(shù)是你的謊言》
印樂(lè)法師任少林寺住持，此前擔(dān)任洛陽(yáng)白馬寺方丈
