商業(yè)
張儷道歉
激活參數(shù)量38B
楊亮
4小時(shí)前
階躍星辰新一代基(礎(chǔ)大模型) ：Step 3 正、式開(kāi)源
2025-08-02 16:12:49
56926
IT之家7月31日消息，階躍星辰宣布新一代基礎(chǔ)大模型Step3正式開(kāi)源，Step3API已上線階躍星辰開(kāi)放平臺(tái)（platform.stepfun.com），用戶也可以在“階躍AI”官網(wǎng)（stepfun.com）和“階躍AI”App進(jìn)行體驗(yàn)。
據(jù)介紹，Step3的多模態(tài)能力圍繞“輕量視覺(jué)路徑”與“穩(wěn)定協(xié)同訓(xùn)練”展開(kāi)，重點(diǎn)解決視覺(jué)引入帶來(lái)的token負(fù)擔(dān)與訓(xùn)練干擾問(wèn)題。為此，其采用5BVisionEncoder，并通過(guò)雙層2D卷積對(duì)視覺(jué)特征進(jìn)行降采樣，將視覺(jué)token數(shù)量減少到原來(lái)的1/16，減輕上下文長(zhǎng)度壓力，提升推理效率。
IT之家附官方對(duì)Step3模型的介紹如下：
核心要點(diǎn)Step3兼顧智能與效率，專為追求性能與成本極致均衡的企業(yè)和開(kāi)發(fā)者設(shè)計(jì)，旨在面向推理時(shí)代打造最適合應(yīng)用的模型。Step3采用MoE架構(gòu)，總參數(shù)量321B，激活參數(shù)量38B。Step3擁有強(qiáng)大的視覺(jué)感知和復(fù)雜推理能力，可準(zhǔn)確完成跨領(lǐng)域的復(fù)雜知識(shí)理解、數(shù)學(xué)與視覺(jué)信息的交叉分析，以及日常生活中的各類視覺(jué)分析問(wèn)題。通過(guò)MFA（Multi-matrixFactorizationAttention）&AFD（Attention-FFNDisaggregation）的優(yōu)化，在各類芯片上推理效率均大幅提升。面向AFD場(chǎng)景的StepMesh通信庫(kù)已隨模型一同開(kāi)源，提供可跨硬件的標(biāo)準(zhǔn)部署接口，支持關(guān)鍵性能在實(shí)際服務(wù)中的穩(wěn)定復(fù)現(xiàn)。模型限時(shí)折扣中，所有請(qǐng)求均按最低價(jià)格計(jì)算，每百萬(wàn)token價(jià)格低至輸入1.5元，輸出4元。
Step3API已上線階躍星辰開(kāi)放平臺(tái)（platform.stepfun.com），大家也可以在“階躍AI”官網(wǎng)（stepfun.com）和“階躍AI”App（應(yīng)用商店搜索下載）進(jìn)行體驗(yàn)。
行業(yè)領(lǐng)先的模型性能
我們?cè)贛MMU、MathVision、SimpleVQA、AIME2025、GPQA-Diamond、LiveCodeBench（2024.08-2025.05）等評(píng)測(cè)集上對(duì)Step3進(jìn)行了測(cè)試，在同類型開(kāi)源模型中，Step3成績(jī)行業(yè)領(lǐng)先。
技術(shù)亮點(diǎn)
Step3重點(diǎn)解決多模態(tài)協(xié)同、系統(tǒng)解碼成本與推理效率問(wèn)題，在訓(xùn)練路徑、架構(gòu)設(shè)計(jì)和推理部署上做了系統(tǒng)級(jí)優(yōu)化。
1、預(yù)訓(xùn)練架構(gòu)
Step3的核心結(jié)構(gòu)采用自研MFA注意力機(jī)制，有效降低注意力計(jì)算中的KV緩存開(kāi)銷與算力消耗。在不犧牲模型能力的前提下，這一方案實(shí)現(xiàn)了資源利用與推理效率的平衡，使得模型可在8×48GB顯卡上完成大吞吐量推理，具備真實(shí)部署的可行性。
2、多模態(tài)預(yù)訓(xùn)練
Step3的多模態(tài)能力圍繞“輕量視覺(jué)路徑”與“穩(wěn)定協(xié)同訓(xùn)練”展開(kāi)，重點(diǎn)解決視覺(jué)引入帶來(lái)的token負(fù)擔(dān)與訓(xùn)練干擾問(wèn)題。為此，我們采用5BVisionEncoder，并通過(guò)雙層2D卷積對(duì)視覺(jué)特征進(jìn)行降采樣，將視覺(jué)token數(shù)量減少到原來(lái)的1/16，減輕上下文長(zhǎng)度壓力，提升推理效率。
為保證多模態(tài)訓(xùn)練的穩(wěn)定性，訓(xùn)練過(guò)程分為兩個(gè)階段：第一階段強(qiáng)化Encoder感知，第二階段凍結(jié)視覺(jué)編碼器，僅優(yōu)化主干與連接層，以減少梯度干擾。訓(xùn)練語(yǔ)料也需與策略匹配，保障穩(wěn)定協(xié)同。多模語(yǔ)料涵蓋Pair、Interleave與多任務(wù)數(shù)據(jù)，在清洗環(huán)節(jié)中引入相似度過(guò)濾、重采樣與任務(wù)比例控制，進(jìn)一步提升圖文協(xié)同質(zhì)量與訓(xùn)練魯棒性。
3、AFD解耦系統(tǒng)
Step3在系統(tǒng)架構(gòu)層重構(gòu)了解碼流程，重點(diǎn)解決Attention與FFN混合執(zhí)行帶來(lái)的推理瓶頸以及資源不匹配問(wèn)題。為此，我們實(shí)現(xiàn)了高性能的AFD（Attention-FFNDisaggregation）方案，將兩類計(jì)算任務(wù)解耦成為兩個(gè)子系統(tǒng)，并通過(guò)多級(jí)流水線并行調(diào)度，有效提升整體吞吐效率。
由于解耦后的子系統(tǒng)之間對(duì)數(shù)據(jù)傳輸有極高要求，我們同時(shí)研發(fā)了面向AFD場(chǎng)景的StepMesh通信庫(kù)，基于GPUDirectRDMA實(shí)現(xiàn)跨卡的低延遲和高帶寬傳輸，同時(shí)兼?zhèn)洳徽加肎PU計(jì)算資源、適配多類異構(gòu)硬件等優(yōu)勢(shì)。在50ms解碼的SLA前提下，Step3在HopperGPU上的吞吐達(dá)到4039token/gpu/s，顯著高于類似設(shè)置下的DeepSeekV3（2324token/gpu/s），且該性能增益在特定硬件與長(zhǎng)文場(chǎng)景會(huì)進(jìn)一步放大至300%。
StepMesh庫(kù)已隨模型一同開(kāi)源，提供可跨硬件的標(biāo)準(zhǔn)部署接口，支持關(guān)鍵性能在實(shí)際服務(wù)中的穩(wěn)定復(fù)現(xiàn)。之后我們也會(huì)積極與各開(kāi)源社區(qū)合作推廣，讓以上技術(shù)更容易被采納和使用。
《重生之棄女驚華》:母親名門貴女,父親高門顯赫,宋暮槿卻注定了是...
《棄女驚華》作者：和風(fēng)微雨
寵文:《醫(yī)女驚華》她鬼使神差地救了他,從此,他寵她一生……
不容錯(cuò)過(guò)的《棄女驚華：腹黑嫡女不好惹》如何讓你想成為書中的女一號(hào)《棄女驚華：腹黑嫡女不好惹》作者：爆爆藍(lán)
《嫡女驚華:毒醫(yī)大小姐》:武相嫡女沈君月‘被傳失身’慘遭家族...
（點(diǎn)擊下方免費(fèi)閱讀）第三本：《嫡妃驚華：一品毒醫(yī)》作者：浩瀚之淵內(nèi)容簡(jiǎn)介：她本是侯門貴女，奈何癡心錯(cuò)付！再睜眼時(shí)，她是將門臭名昭著的落魄嫡女，處境艱難-——。涅槃重生，王侯將相皆拜倒在她裙下，連退了婚的未婚夫都不肯放過(guò)她_-。本以為注定孑然一身，卻不想被一個(gè)壞到極致的家伙纏上，他將此生好了吧！
免責(zé)聲明：本文內(nèi)容由開(kāi)放的智能模型自動(dòng)生成，僅供參考。
網(wǎng)站信息
