雖然知道屋子里沒有其他人,但晚上睡覺還是要把房門關(guān)上才安心,這是什么緣故?
系統(tǒng)性思維,一直都是中國產(chǎn)業(yè)從后發(fā)地位邁向先進水平的寶貴經(jīng)驗,如今這一幕也正在AI領(lǐng)域發(fā)生。近日,10家國產(chǎn)大模型、AI芯片和算力加速企業(yè)攜手成立“模芯生態(tài)創(chuàng)新聯(lián)盟”,開始探索從大模型開發(fā)階段就去適配國產(chǎn)AI芯片,為國產(chǎn)芯片產(chǎn)業(yè)協(xié)同打開了新思路。與此同時,上海企業(yè)在聯(lián)盟中占據(jù)半壁江山的現(xiàn)象,也正是上海高科技產(chǎn)業(yè)一向重視軟硬結(jié)合,產(chǎn)業(yè)鏈一體化完備程度的厚積薄發(fā)。
(文/觀察者網(wǎng)張廣凱)
沐曦陳維良、天數(shù)智芯蓋魯江、燧原趙立東、壁仞張文,四家國產(chǎn)算力芯片領(lǐng)軍企業(yè)的創(chuàng)始人同臺對話,即使不是第一次,也是非常罕見的一幕。
更耐人尋味的是,這一幕出現(xiàn)在大模型企業(yè)階躍星辰的發(fā)布會上。
7月25日,作為今年世界人工智能大會的一部分,階躍星辰在上海發(fā)布了新一代SOTA級的多模態(tài)推理大模型Step3。
作為著名的“多模態(tài)卷王”,如果說Step3本身的模型能力已經(jīng)不會太讓人意外,那么這次發(fā)布會上更大的驚喜,來自于其對國產(chǎn)芯片的強大適配能力——據(jù)介紹,Step3在國產(chǎn)芯片上的推理效率最高可達(dá)DeepSeek-R1的300%。
同日,階躍星辰聯(lián)合近10家芯片及基礎(chǔ)設(shè)施廠商發(fā)起“模芯生態(tài)創(chuàng)新聯(lián)盟”,首批成員包括華為昇騰、沐曦、壁仞科技、燧原科技、天數(shù)智芯、無問芯穹、寒武紀(jì)、摩爾線程、硅基流動等。
階躍星辰的名字來自數(shù)學(xué)中的“階躍函數(shù)”,這個函數(shù)常用來描述從0到1的突然跳變。當(dāng)英偉達(dá)H20都面臨“斷供”風(fēng)險,國產(chǎn)算力今年已經(jīng)成為大模型企業(yè)的必選項。這個趨勢當(dāng)然不僅僅歸功于階躍星辰,但國產(chǎn)模芯生態(tài)卻如“階躍函數(shù)”一樣正在快速躍遷。
當(dāng)模型和芯片變成一個系統(tǒng)
自從今年初DeepSeek爆火出圈之后,人們已經(jīng)習(xí)慣了用“DeepSeek時刻”來形容中國大模型產(chǎn)業(yè)的進步。但是屬于DeepSeek自己的下一個“DeepSeek時刻”,卻遲遲沒有到來。
早在2月份,就有消息稱DeepSeek計劃于5月發(fā)布下一代推理模型R2,甚至有可能提前。但截至目前,R2仍然未能亮相。知名科技媒體TheInformation曾指出,英偉達(dá)H20芯片此前的禁售風(fēng)波,可能是DeepSeek計劃跳票的重要原因。
DeepSeek此前的V3和R1模型,均是基于英偉達(dá)芯片訓(xùn)練。昔日還以幻方量化知名的梁文鋒曾在采訪中承認(rèn),他在2021年就已經(jīng)囤積了萬張英偉達(dá)顯卡。直到2023年,幻方擁有的英偉達(dá)顯卡都超過國內(nèi)很多頭部大廠,這是DeepSeek成功的物理前提。
如今英偉達(dá)顯卡屢屢出現(xiàn)斷供風(fēng)險,影響的不是僅僅DeepSeek自身的模型訓(xùn)練,也讓下游那些并非財大氣粗的用戶在部署時遇到麻煩。隨著華為昇騰等國產(chǎn)芯片的性價比逐步超越H20,越來越多的用戶和算力廠商開始轉(zhuǎn)向國產(chǎn)芯片。
但DeepSeekV3和R1的優(yōu)化原本是針對英偉達(dá)H800這樣的高端芯片,用在國產(chǎn)芯片時仍然需要大量的適配工作。算力加速平臺硅基流動的創(chuàng)始人袁進輝曾透露,為了在華為昇騰芯片上適配DeepSeek,其團隊與華為工程師整個春節(jié)假期都沒有休息。
現(xiàn)在,階躍星辰想從根本上解決這個難題。
在Step3的發(fā)布會上,階躍星辰創(chuàng)始人、CEO姜大昕展示了兩組數(shù)據(jù):
在國產(chǎn)芯片上,Step3的推理效率最高可達(dá)DeepSeek-R1的300%;而即使在基于NVIDIAHopper架構(gòu)的芯片進行分布式推理時,實測Step3相較于DeepSeek-R1的吞吐量提升了超過70%。
這樣的效率提升是如何做到的?
“過去,產(chǎn)業(yè)把開發(fā)順序搞反了?!彪A躍星辰聯(lián)合創(chuàng)始人、副總裁朱亦博對觀察者網(wǎng)解釋說,一款芯片的開發(fā)周期需要兩年以上,而如今模型迭代的速度只有半年到一年,如果讓芯片廠商去適配模型,必然是低效的,可能等到適配做好了,模型早就迭代了。
觀察者網(wǎng)了解到,隨著大模型算法創(chuàng)新層出不窮,業(yè)內(nèi)對于其硬件適配性早就不乏詬病,甚至有“算法搞創(chuàng)新,infra擦屁股”的說法。
而階躍星辰選擇了在模型開發(fā)階段,就主動去服務(wù)于國產(chǎn)芯片的特性。
朱亦博舉例說,目前國產(chǎn)芯片的制程工藝、HBM(高帶寬內(nèi)存)等性能還相對落后,導(dǎo)致在算法設(shè)計上需要去做一些調(diào)整。
階躍星辰展示的圖片顯示,在算術(shù)強度(Arithmeticintensity)特性上,DeepSeekV3更適配于H800芯片,阿里Qwen3更偏向H20,而Step3則與昇騰910B更加接近。
這得益于今年初階躍星辰發(fā)布的一種新型注意力機制架構(gòu)——多矩陣分解注意力(MFA)。在當(dāng)時DeepSeek的光芒下,這個成果并未廣泛“出圈”,但是相較于DeepSeek采用的多頭注意力機制(MLA),MFA能夠把推理過程中的鍵值緩存(KVCache)用量大幅降低93.7%,對國產(chǎn)芯片更加友好。
換句話說,階躍星辰主動跳出了一家單純的大模型企業(yè)視角,而是把模型和硬件視為相互協(xié)同的系統(tǒng)。沐曦創(chuàng)始人、董事長兼總經(jīng)理陳維良直言,“階躍星辰對于國產(chǎn)芯片的了解深度,已經(jīng)不亞于芯片企業(yè)本身”
下面這張圖更加直觀地展示了階躍星辰這種思維方式的成果:在昇騰910B上,Step3的解碼效率甚至超過了華為自家的盤古ProMoE模型,這還是在盤古ProMoE實際激活參數(shù)不到Step3一半的情況下。
如今,階躍星辰與諸多硬件廠商成立“模芯聯(lián)盟”,意味著過去技術(shù)層面的系統(tǒng)思維,有望走向更深度的戰(zhàn)略協(xié)同層面。
朱亦博對觀察者網(wǎng)介紹,這個聯(lián)盟的初步目標(biāo),是將各自的產(chǎn)品開發(fā)進度相互同步,并希望在此基礎(chǔ)上建立長期信任以及合作關(guān)系,“也許未來新一代芯片上市前,我們就可以比較早地獲取它的一些設(shè)計?!?/p>
這勢必會給階躍星辰的未來模型研發(fā)帶來獨特優(yōu)勢,而與此同時,姜大昕也向觀察者網(wǎng)表示,歡迎更多國內(nèi)大模型企業(yè)加入聯(lián)盟。
國產(chǎn)芯片訓(xùn)練仍難突破
盡管以階躍星辰為代表的眾多國產(chǎn)大模型公司都開始重視對國產(chǎn)芯片的適配,但到目前為止,主要的適配工作都發(fā)生在推理環(huán)節(jié),而基于國產(chǎn)芯片的訓(xùn)練仍然是行業(yè)難題。
困難同樣來自軟硬兩個維度。
大模型的“大”主要體現(xiàn)在訓(xùn)練階段數(shù)據(jù)和參數(shù)量的龐大,而訓(xùn)練完成的大模型,在推理階段并不需要激活所有參數(shù)量,因此對算力消耗更小。
當(dāng)前,美國大模型公司在訓(xùn)練環(huán)節(jié)使用的芯片集群規(guī)模已經(jīng)達(dá)到10萬卡,而國內(nèi)大模型往往使用以英偉達(dá)芯片為主的萬卡集群。
目前,明確使用全國產(chǎn)算力的芯片集群是科大訊飛與華為共建的“飛星二號”,能夠達(dá)到萬卡級別,今年剛剛走到首批算力交付的階段。而且考慮到華為單卡算力的劣勢,“飛星二號”在總算力上仍然難以同英偉達(dá)集群媲美。
本次人工智能大會上,華為也首次展出了384張芯片集成的超節(jié)點機柜,在算力上超過英偉達(dá)的NVL72,但考慮到芯片數(shù)量和光模塊的大量使用,其功耗和穩(wěn)定性仍然有待檢驗。
而其它國產(chǎn)芯片在集群規(guī)模上也存在明顯差距。在無問芯穹與上海算法創(chuàng)新研究院的合作中,雙方成功基于3000卡沐曦國產(chǎn)GPU集群,穩(wěn)定支撐百億參數(shù)大模型訓(xùn)練長達(dá)600小時不間斷,這已經(jīng)是國產(chǎn)算力模型訓(xùn)練的記錄。
除了芯片集群的困難,大模型企業(yè)想要在國產(chǎn)芯片上進行訓(xùn)練,也需要根據(jù)芯片不同的架構(gòu)去重新構(gòu)建底層工具鏈,其難度同樣巨大。
需要承認(rèn)的是,當(dāng)下國產(chǎn)大模型百花齊放,一定程度上也是建立在英偉達(dá)CUDA生態(tài)提供了成熟的工具鏈,而工具鏈的開發(fā)人才由于要掌握硬件知識,往往比大模型的人才更加稀缺。
因此,國產(chǎn)芯片在推理側(cè)的進展令人欣喜之余,我們也仍要正視同英偉達(dá)生態(tài)的差距。
下一個圣杯:多模態(tài)
但是樂觀地說,當(dāng)下大模型的技術(shù)演進遠(yuǎn)遠(yuǎn)沒有結(jié)束,這也意味著,如果能夠在新技術(shù)范式上占得先機,基于國產(chǎn)芯片的大模型開發(fā)生態(tài)仍有彎道超車空間。
多模態(tài)就是下一個機會所在。
盡管多模態(tài)模型落地已經(jīng)如火如荼,但業(yè)界共識認(rèn)為,屬于多模態(tài)的“GPT-4時刻”尚未真正到來。也就是說,如今多模態(tài)的推理模型尚不成熟,理解生成一體化尚未實現(xiàn),世界模型也還較為遙遠(yuǎn),這都意味著,其基礎(chǔ)架構(gòu)仍有很大創(chuàng)新空間,國產(chǎn)芯片對模型的適配也可以從更早期階段起步,避免如語言模型一樣的英偉達(dá)一家獨大。
而中國多模態(tài)應(yīng)用生態(tài)的繁榮,也為相關(guān)企業(yè)提供了充足彈藥。
例如,階躍星辰日前首次公布了明確的收入指引——預(yù)計今年全年營收達(dá)到10億元。
“AI六小龍”公司此前都沒有明確公布過自己的經(jīng)營狀況,可以作為對比的是,有媒體報道智譜2024年的收入約2-3億元,而虧損可能達(dá)到20億元。
這意味著,階躍星辰除了與上游硬件廠商的結(jié)合,在下游用戶的結(jié)合上也有獨到之處。
其最核心的秘訣自然還是多模態(tài)。
過去一年中,階躍星辰已經(jīng)發(fā)布了十余款多模態(tài)模型,包括Step系列的基礎(chǔ)模型,以及語音、視覺理解、圖像編輯、圖像和視頻生成、音樂等諸多垂直模型。本次WAIC期間,階躍亦升級了多模態(tài)模型矩陣,包括階躍首個多模理解生成一體化模型Step3oVision,第二代端到端語音大模型Step-Audio2。
業(yè)內(nèi)普遍認(rèn)為,相比于語言模型的不斷刷榜,多模態(tài)正在成為當(dāng)下大模型和Agent產(chǎn)品落地需求最大和最有利可圖的賽道。這讓“六小龍”中一直較為低調(diào)的階躍星辰,悄然在商業(yè)上開始爆發(fā)。
階躍星辰副總裁李璟對觀察者網(wǎng)直言,“多模態(tài)模型的優(yōu)勢往往不體現(xiàn)在榜單上,而是體現(xiàn)在客戶的實際測試?yán)锩妫@個可能更有說服力。”
例如,階躍星辰展示了在一張反光嚴(yán)重的菜單照片上準(zhǔn)確識別菜品價格的能力——圖文識別算不上新鮮,但在復(fù)雜現(xiàn)實環(huán)境里的可用性,才是應(yīng)用落地的關(guān)鍵。
據(jù)介紹,階躍星辰的智能終端Agent目前頭部客戶效應(yīng)顯著:已覆蓋國內(nèi)超過一半頭部國產(chǎn)手機廠商,深度合作打造手機Agent體驗;聯(lián)合吉利推出AI智能座艙,成功實現(xiàn)行業(yè)內(nèi)端到端語音大模型首次量產(chǎn)上車。另一方面,階躍星辰積極拓展垂直行業(yè)的應(yīng)用,與金融財經(jīng)、內(nèi)容創(chuàng)作、零售等領(lǐng)域的行業(yè)頭部公司深度合作,共同打造面向C端的場景化應(yīng)用體驗。
多模態(tài)模型的快速應(yīng)用落地,除了對大模型企業(yè)商業(yè)閉環(huán)意義重大,也有助于收集更多數(shù)據(jù),形成飛輪驅(qū)動模型和硬件的進步。
天數(shù)智芯董事長兼CEO蓋魯江指出,“從芯片到整機廠商、模型廠商,再到最終應(yīng)用場景,這4個環(huán)節(jié)都是產(chǎn)業(yè)鏈的重要組成部分,如果能夠通過聯(lián)盟建立統(tǒng)一標(biāo)準(zhǔn),將會省去大量的適配成本?!?/p>
上海為何托起半壁江山?
最后值得注意的是,在上述模芯聯(lián)盟中,來自上海的企業(yè)占據(jù)了半壁江山。
作為國內(nèi)工業(yè)化最早、最完整的城市,上海在互聯(lián)網(wǎng)時代一度顯得低調(diào),但隨著人工智能爆發(fā),上海的產(chǎn)業(yè)地位正在不斷提升。
其實,上海人工智能產(chǎn)業(yè)的獨特優(yōu)勢,正藏在“軟硬協(xié)同”四個字之中。
互聯(lián)網(wǎng)時代,企業(yè)崇尚輕資產(chǎn)的快速靈活,但在人工智能時代,硬件能力的提升卻沒有捷徑可走。上海坐擁中芯國際和華虹等國內(nèi)主要晶圓廠,HBM所需的先進封裝產(chǎn)能也多位于長三角,這都為GPU企業(yè)提供了便利環(huán)境。
而上海為應(yīng)用生態(tài)提供的服務(wù)也走在全國前列。無問芯穹在本屆人工智能大會期間指出,其服務(wù)的全球最大人工智能孵化器——上海模速空間,日均Token調(diào)用量已成功突破100億大關(guān)。
《新華財經(jīng)》一組數(shù)據(jù)顯示,2024年上海人工智能(含大模型)企業(yè)達(dá)到24733家,較上年增長5.1%,新增注冊資本1000萬及以上的人工智能企業(yè)有104家。
上海國有資本也在頻繁參與AI產(chǎn)業(yè)的早期投資。今年3月,上海國投先導(dǎo)人工智能產(chǎn)業(yè)母基金的首個直投項目就投向了壁仞科技,據(jù)悉,上海國投生態(tài)體系也將在近期參與投資階躍星辰的最新一輪融資。
這無疑是一種更高層面上的系統(tǒng)集成。當(dāng)其他城市還在討論如何“補鏈”時,上海已經(jīng)讓AI成為城市基礎(chǔ)設(shè)施的一部分。
本文系觀察者網(wǎng)獨家稿件,文章內(nèi)容純屬作者個人觀點,不代表平臺觀點,未經(jīng)授權(quán),不得轉(zhuǎn)載,否則將追究法律責(zé)任。關(guān)注觀察者網(wǎng)微信guanchacn,每日閱讀趣味文章。