日常生活中,我們經(jīng)常遇到需要在布滿密集小字、且有幾處區(qū)域高度反光的菜單上,辨別某一特定菜品價格的場景。這對許多人來說很棘手,但對階躍星辰的大模型Step3而言卻是小菜一碟。它能根據(jù)用戶指令,在極短時間內(nèi)定位到餐前小食區(qū)域的菜品無骨鴨掌,并準(zhǔn)確地識別出它的價格。顯然,這樣的感知能力,已經(jīng)超過人類水平。
2025年7月25日,階躍星辰在上海召開Step3大模型發(fā)布會暨生態(tài)聯(lián)盟成立大會。會上,該公司正式發(fā)布了上述新一代基礎(chǔ)大模型Step3,并計劃于7月31日面向全球企業(yè)和開發(fā)者開源。
與此同時,宣布與上海國有資本投資有限公司達(dá)成深度戰(zhàn)略合作,并聯(lián)合國內(nèi)近十家領(lǐng)先的芯片、平臺廠商發(fā)起成立“模芯生態(tài)創(chuàng)新聯(lián)盟”,致力于通過推動模型和芯片產(chǎn)業(yè)鏈聯(lián)合創(chuàng)新,加速大模型應(yīng)用落地。
此外,該公司還邀請沐曦創(chuàng)始人、董事長兼總經(jīng)理陳維良,天數(shù)智芯董事長兼CEO蓋魯江,燧原科技創(chuàng)始人、董事長兼CEO趙立東,以及壁仞科技創(chuàng)始人、董事長兼CEO張文,圍繞“大模型與芯片的協(xié)同創(chuàng)新”這一話題,展開圓桌對話。
(來源:資料圖)
推出新一代基礎(chǔ)大模型Step3,推理效率最高達(dá)DeepSeek-R1的300%
階躍星辰自2023年成立以來,便以實現(xiàn)通用人工智能為目標(biāo),聚焦基礎(chǔ)大模型的研發(fā),不斷推進(jìn)模型技術(shù)迭代。該公司于2024年3月和9月分別發(fā)布千億參數(shù)原生多模態(tài)大模型Step1和萬億參數(shù)混合專家模型Step2。
階躍星辰創(chuàng)始人、CEO姜大昕表示:“從Step1到Step2兩代基模的快速迭代,促使我們深入思考什么才是最適合應(yīng)用的模型。”
該公司經(jīng)過探索發(fā)現(xiàn),模型必須滿足“多開好省”的特點。
首先,“多”即多模態(tài)。雖然數(shù)學(xué)與代碼常被用于測試模型能力,但多模態(tài)在大量應(yīng)用場景中才是剛需。
其次,“開”即開源。開源模型有利于私有化部署,且便于后訓(xùn)練和微調(diào),能極大地幫助模型適應(yīng)下游應(yīng)用需求。
再次,“好”即邏輯能力好。模型既要學(xué)識豐富、善解人意,又要邏輯嚴(yán)謹(jǐn)。
最后,“省”是在保證模型能力優(yōu)異的前提下,盡可能降低成本。
Step3正是在上述研發(fā)理念的指導(dǎo)下應(yīng)運而生。
目前,該模型擁有兩大突出特點。
其一,模型能力強(qiáng)。其具備強(qiáng)大的視覺感知與復(fù)雜推理能力,不管是跨領(lǐng)域的復(fù)雜知識理解、數(shù)學(xué)與視覺信息的交叉分析,還是日常生活中的各類視覺分析問題,它都能準(zhǔn)確完成。通過MMMU、MathVision、SimpleVQA、AIME2025、LiveCodeBench(2024.08-2025.05)等一系列榜單測評,該模型的得分超過國內(nèi)外所有開源的同類模型,成績達(dá)到當(dāng)前開源多模態(tài)推理模型的最高水平。
(來源:資料圖)
會上,借助幾個案例,階躍星辰對該模型的多模態(tài)和推理能力做了展示。除了開頭提到的“無骨鴨掌”案例,還包括識別色盲自測圖和幫用戶計算分?jǐn)偦ㄤN。對于前一個問題,Step3能夠很快正確識別出圖中字母為“Step3”,并打趣它和自己的名字相同是一個有趣的巧合。對于后一個問題,盡管原始設(shè)定規(guī)則相對復(fù)雜,但它通過關(guān)聯(lián)微信截圖和購物小票圖,依然能準(zhǔn)確地計算出每個人應(yīng)付的錢數(shù)。
其二,推理效率高、應(yīng)用成本低。此前有不少提升模型推理效率的開源工作,例如DeepSeek就做了諸多優(yōu)化,但這些優(yōu)化主要針對英偉達(dá)H800等高端國外芯片。階躍星辰希望能開發(fā)一些創(chuàng)新方法,讓模型可以更好地適配到更多類型的芯片上,包括國產(chǎn)算力。因此,該公司從開始設(shè)計模型架構(gòu)時,便著重考慮硬件和系統(tǒng)的特點,最終使得Step3能在最廣泛的硬件上進(jìn)行高效處理。
從數(shù)據(jù)上看,Step3在某個國產(chǎn)芯片上的推理效率最高可達(dá)DeepSeek-R1的300%,在基于英偉達(dá)Hopper架構(gòu)的芯片上進(jìn)行分布式推理時,相較于DeepSeek-R1的吞吐量提升超70%。
(來源:資料圖)
據(jù)階躍星辰聯(lián)合創(chuàng)始人、副總裁朱亦博透露,Step3的表現(xiàn)之所以優(yōu)于其他模型,主要是采用了一款名為多矩陣分解注意力的新型注意力機(jī)制架構(gòu),因而能在不犧牲模型參數(shù)量的條件下,顯著減少計算復(fù)雜度和顯存占用。
也正如姜大昕所說:“更高的處理效率就意味著更低的成本,傳導(dǎo)到用戶那里就是更低的價格?!?/p>
(來源:資料圖)
Step3的多模態(tài)能力主要表現(xiàn)在視覺理解和推理上,但在實際應(yīng)用中,用戶對多模態(tài)能力的要求則更為豐富,比如能看能寫、能聽能說、能畫能唱,甚至可以生成視頻等。
基于此,該公司也構(gòu)建了“1+N”的Step系列大模型矩陣。其中,“1”是指Step3基礎(chǔ)大模型,“N”是指Step系列的多模態(tài)大模型矩陣,廣泛覆蓋語音、視覺理解、圖像編輯、圖像和視頻生成、音樂等領(lǐng)域。值得關(guān)注的是,該公司同期還發(fā)布了階躍首個多模理解生成一體化模型Step3oVision、以及第二代端到端語音大模型Step-Audio2。
會上,該公司對Step-Audio2做了具體展示。它不僅可以非常流利地使用中文、英文、上海話等各種語言和用戶絲滑交流,也能模仿小朋友、男性、女性等不同用戶的聲音。它還具備多人對話的能力,即便被打斷,也能靈敏反應(yīng)。
據(jù)悉,目前這些多模態(tài)大模型均可以在“階躍AI”官網(wǎng)(stepfun.com)和“階躍AI”App(應(yīng)用商店搜索下載)進(jìn)行體驗。
會上,階躍星辰宣布與上海國有資本投資有限公司達(dá)成深度戰(zhàn)略合作,并舉辦簽約儀式。據(jù)了解,雙方將圍繞加強(qiáng)資本鏈接、生態(tài)業(yè)務(wù)合作等方面,進(jìn)行全面深度合作。
此外,過去一段時間,該公司在商業(yè)化上也取得了豐碩成果。
在智能終端領(lǐng)域,與國內(nèi)超過一半的頭部國產(chǎn)手機(jī)廠商合作,共同打造手機(jī)Agent體驗;聯(lián)合吉利汽車推出AI智能座艙,成功實現(xiàn)行業(yè)內(nèi)端到端語音大模型首次量產(chǎn)上車;與千里科技、吉利合作,打造新一代智能座艙產(chǎn)品交互體驗;在金融行業(yè),與財躍星辰合作推出“AI小財神Pro”版本,實現(xiàn)高峰期每分鐘tokens(模型處理文本時的基本單位)超過五百萬。
聯(lián)合多家芯片廠商發(fā)起“模芯生態(tài)創(chuàng)新聯(lián)盟”,加速推動AI業(yè)務(wù)繁榮
會上,階躍星辰聯(lián)合近10家芯片及基礎(chǔ)設(shè)施廠商成立“模芯生態(tài)創(chuàng)新聯(lián)盟”,,致力于打通芯片、模型和平臺全鏈路技術(shù)。通過底層聯(lián)合創(chuàng)新提升大模型適配性和算力效率,該聯(lián)盟將為企業(yè)和開發(fā)者提供高效易用的大模型解決方案,加速應(yīng)用落地。
(來源:資料圖)
該聯(lián)盟的成立,源于一個全行業(yè)共識:大模型推理成本的降低,已成為決定其應(yīng)用滲透率的關(guān)鍵。
“降低推理成本本質(zhì)是提升算力應(yīng)用效率。API價格戰(zhàn)只是一時喧囂,提升模型算力效率需產(chǎn)業(yè)聯(lián)合創(chuàng)新。”姜大昕表示。
實際上,該公司當(dāng)初在設(shè)計Step3的模型架構(gòu)時,就已經(jīng)考慮到國產(chǎn)芯片的硬件特點。這是一個聯(lián)合設(shè)計的過程,也是通過建立聯(lián)盟來聯(lián)合創(chuàng)新生態(tài)的動機(jī)和目標(biāo)。
據(jù)介紹,該聯(lián)盟的首批成員包括華為昇騰、沐曦、壁仞科技、燧原科技、天數(shù)智芯、無問芯穹、寒武紀(jì)、摩爾線程、硅基流動等。其中,華為昇騰芯片已首先實現(xiàn)Step3的搭載和運行,沐曦、天數(shù)智芯和燧原科技等企業(yè)也已初步實現(xiàn)運行Step3。
在圓桌對話環(huán)節(jié),針對如何加強(qiáng)產(chǎn)業(yè)鏈協(xié)同,讓模型和芯片更好地配合這一話題,各位發(fā)言人發(fā)表了自己的意見。
陳維良表示,依托“模芯生態(tài)創(chuàng)新聯(lián)盟”,芯片和模型企業(yè)應(yīng)深化算子優(yōu)化以形成更高效的模型,并借助中國產(chǎn)業(yè)鏈優(yōu)勢,打造自主自強(qiáng)的中國特色解決方案。
蓋魯江說道,一要推動國產(chǎn)芯片在體量和降本上突破;二要深入理解不同應(yīng)用場景,匹配用戶需求并提出一攬子的解決方案;三要通過聯(lián)盟打通芯片到整機(jī)廠商、模型廠商及最終應(yīng)用場景的鏈條,建立統(tǒng)一規(guī)范和標(biāo)準(zhǔn)。
趙立東認(rèn)為,國產(chǎn)AI芯片目前面臨高端芯片制造和生態(tài)兩座大山,后者是模型與芯片合作的切入點。
張文則指出,模型與芯片的良好配合需依托國產(chǎn)大模型的發(fā)展,當(dāng)前國產(chǎn)大模型水平已接近國外,但國產(chǎn)芯片仍有較大差距,所以適配國產(chǎn)大模型公司能為芯片產(chǎn)品定義提供重要參考,可根據(jù)前者對超長文本、大規(guī)模推理等特性的需求調(diào)整產(chǎn)品,讓國產(chǎn)大模型的發(fā)展能有效牽動國產(chǎn)芯片設(shè)計的進(jìn)步。
顯然,國產(chǎn)大模型和國產(chǎn)芯片是科技發(fā)展的兩個支點,只有實現(xiàn)從模型、芯片、平臺到應(yīng)用的全產(chǎn)業(yè)鏈聯(lián)合創(chuàng)新,推動大模型和算力雙向?qū)崿F(xiàn)價值最大化,才能加速推動AI在各行各業(yè)真正落地。
延伸閱讀:與 國產(chǎn):AI,芯片大佬齊聚 的相關(guān)文章