IT之家7月31日消息,階躍星辰宣布新一代基礎大模型Step3正式開源,Step3API已上線階躍星辰開放平臺(platform.stepfun.com),用戶也可以在“階躍AI”官網(wǎng)(stepfun.com)和“階躍AI”App進行體驗。
據(jù)介紹,Step3的多模態(tài)能力圍繞“輕量視覺路徑”與“穩(wěn)定協(xié)同訓練”展開,重點解決視覺引入帶來的token負擔與訓練干擾問題。為此,其采用5BVisionEncoder,并通過雙層2D卷積對視覺特征進行降采樣,將視覺token數(shù)量減少到原來的1/16,減輕上下文長度壓力,提升推理效率。
IT之家附官方對Step3模型的介紹如下:
核心要點Step3兼顧智能與效率,專為追求性能與成本極致均衡的企業(yè)和開發(fā)者設計,旨在面向推理時代打造最適合應用的模型。Step3采用MoE架構,總參數(shù)量321B,激活參數(shù)量38B。Step3擁有強大的視覺感知和復雜推理能力,可準確完成跨領域的復雜知識理解、數(shù)學與視覺信息的交叉分析,以及日常生活中的各類視覺分析問題。通過MFA(Multi-matrixFactorizationAttention)&AFD(Attention-FFNDisaggregation)的優(yōu)化,在各類芯片上推理效率均大幅提升。面向AFD場景的StepMesh通信庫已隨模型一同開源,提供可跨硬件的標準部署接口,支持關鍵性能在實際服務中的穩(wěn)定復現(xiàn)。模型限時折扣中,所有請求均按最低價格計算,每百萬token價格低至輸入1.5元,輸出4元。
Step3API已上線階躍星辰開放平臺(platform.stepfun.com),大家也可以在“階躍AI”官網(wǎng)(stepfun.com)和“階躍AI”App(應用商店搜索下載)進行體驗。
行業(yè)領先的模型性能
我們在MMMU、MathVision、SimpleVQA、AIME2025、GPQA-Diamond、LiveCodeBench(2024.08-2025.05)等評測集上對Step3進行了測試,在同類型開源模型中,Step3成績行業(yè)領先。
技術亮點
Step3重點解決多模態(tài)協(xié)同、系統(tǒng)解碼成本與推理效率問題,在訓練路徑、架構設計和推理部署上做了系統(tǒng)級優(yōu)化。
1、預訓練架構
Step3的核心結構采用自研MFA注意力機制,有效降低注意力計算中的KV緩存開銷與算力消耗。在不犧牲模型能力的前提下,這一方案實現(xiàn)了資源利用與推理效率的平衡,使得模型可在8×48GB顯卡上完成大吞吐量推理,具備真實部署的可行性。
2、多模態(tài)預訓練
Step3的多模態(tài)能力圍繞“輕量視覺路徑”與“穩(wěn)定協(xié)同訓練”展開,重點解決視覺引入帶來的token負擔與訓練干擾問題。為此,我們采用5BVisionEncoder,并通過雙層2D卷積對視覺特征進行降采樣,將視覺token數(shù)量減少到原來的1/16,減輕上下文長度壓力,提升推理效率。
為保證多模態(tài)訓練的穩(wěn)定性,訓練過程分為兩個階段:第一階段強化Encoder感知,第二階段凍結視覺編碼器,僅優(yōu)化主干與連接層,以減少梯度干擾。訓練語料也需與策略匹配,保障穩(wěn)定協(xié)同。多模語料涵蓋Pair、Interleave與多任務數(shù)據(jù),在清洗環(huán)節(jié)中引入相似度過濾、重采樣與任務比例控制,進一步提升圖文協(xié)同質(zhì)量與訓練魯棒性。
3、AFD解耦系統(tǒng)
Step3在系統(tǒng)架構層重構了解碼流程,重點解決Attention與FFN混合執(zhí)行帶來的推理瓶頸以及資源不匹配問題。為此,我們實現(xiàn)了高性能的AFD(Attention-FFNDisaggregation)方案,將兩類計算任務解耦成為兩個子系統(tǒng),并通過多級流水線并行調(diào)度,有效提升整體吞吐效率。
由于解耦后的子系統(tǒng)之間對數(shù)據(jù)傳輸有極高要求,我們同時研發(fā)了面向AFD場景的StepMesh通信庫,基于GPUDirectRDMA實現(xiàn)跨卡的低延遲和高帶寬傳輸,同時兼?zhèn)洳徽加肎PU計算資源、適配多類異構硬件等優(yōu)勢。在50ms解碼的SLA前提下,Step3在HopperGPU上的吞吐達到4039token/gpu/s,顯著高于類似設置下的DeepSeekV3(2324token/gpu/s),且該性能增益在特定硬件與長文場景會進一步放大至300%。
StepMesh庫已隨模型一同開源,提供可跨硬件的標準部署接口,支持關鍵性能在實際服務中的穩(wěn)定復現(xiàn)。之后我們也會積極與各開源社區(qū)合作推廣,讓以上技術更容易被采納和使用。
※童年不幸少時驚魂輕度社恐努力而活※無童年少年天才冷酷腹黑病弱敗類※沈溪病了 醫(yī)生處方——找個男友 What 她驚得差點掉了下巴 裴澤南病了, 醫(yī)生攤手——無能為力。 么? 這跟等死有什么區(qū)別! 陰差陽錯, 宅摳省溫柔小姐姐變身渣女拽著可憐孤僻小奶狗簽訂男友契約。 時間 半年契約限款: 除了××, 不約吃飯看電影, 不負責接送上下班, 不得用對方的錢, 劃重點, 在外面見面, 大家裝著不認識。 后來 假男友這么給力, 要不續(xù)約? 只是…… 那個騙吃騙喝騙零花錢的小奶狗弟弟怎么突然就成了收購她公司的大總裁? 沈渣女嚇得原地遁走! 后來的后來…… 某女被某男逮回, 狗男雙眸欲泫: 姐姐, 你不照顧弟弟了么? 某女冷呸: 比我大一歲, 怎么好意思裝可憐弟弟, 死滾! 好吧, 既然可憐沒用, 裴先生伸手抬金絲邊眼鏡, 爺說契約什么時候結束就什么時候結束…… 沈溪剛想炸毛, 爺說每天給多少零花錢就決不會多給一分, 爺讓準時下班就不能在外面拈花惹草…… 真是天道有輪回, 出來混總是要還的, 想當年, 她如此對裴狗, 終于被一筆又一筆討回來! 一個看似平凡卻身陷暗澤拼命向陽而生, 一個冷眼看世間繁華人來人往孤獨而活。 這是一個看似女追男實則追妻火葬場的治愈系暖寵小甜文。免責聲明:本文內(nèi)容由開放的智能模型自動生成,僅供參考。