《年輪》原唱爭議鬧到現(xiàn)在，對張碧晨和汪蘇瀧來講，是不是雙輸?shù)木置妫?/a>
誰說擴(kuò)散模型只能生成圖像和視頻？
現(xiàn)在它們能高質(zhì)量地寫代碼了，速度還比傳統(tǒng)大模型更快！
InceptionLabs推出基于擴(kuò)散技術(shù)的全新商業(yè)級大語言模型——Mercury。
Mercury突破了自回歸模型“從左到右”逐詞生成的限制，采用“從噪聲到結(jié)構(gòu)化輸出”的方式，能一次性預(yù)測所有方向的token，提高了生成速度。
這樣一來，Mercury還解決了自回歸“一旦生成難以回頭調(diào)整”的問題。
擴(kuò)散模型并不是僅考慮前面已經(jīng)生成的內(nèi)容，它能在生成過程中進(jìn)行動態(tài)糾錯修改，具有更大的靈活性。
盡管采用了擴(kuò)散技術(shù)，Mercury模型系列仍保留了Transformer架構(gòu)。
這確保了該模型能直接復(fù)用近年來為大語言模型開發(fā)的高效訓(xùn)練、推理優(yōu)化技術(shù)（如低階算子優(yōu)化、超參數(shù)調(diào)優(yōu)工具等）。
實(shí)測數(shù)據(jù)顯示，面對相同的編程任務(wù)，Mercury的代碼生成速度比傳統(tǒng)工具最多快10倍，大幅縮短了開發(fā)周期。
在H100GPU上實(shí)現(xiàn)1109tokens/秒吞吐量
Mercury用成熟的Transformer作為神經(jīng)網(wǎng)絡(luò)基礎(chǔ)，結(jié)合擴(kuò)散技術(shù)的并行生成能力，既保留了大模型的兼容性，又突破了自回歸模型逐詞生成的速度限制。
擴(kuò)散生成流程
Mercury的核心創(chuàng)新在于“擴(kuò)散式生成”，流程如下：
訓(xùn)練階段的正向過程：從真實(shí)文本（如代碼片段）出發(fā)，逐步加入噪聲（隨機(jī)替換、刪除token等），最終變成完全隨機(jī)的噪聲序列。
推理階段的反向過程（核心）：從隨機(jī)噪聲開始，通過Transformer模型迭代優(yōu)化，逐步去除噪聲，最終生成符合真實(shí)分布的文本。每次迭代中，模型會并行修改多個token，而非逐詞生成。
這一過程擴(kuò)展了此前的離散擴(kuò)散方法，通過優(yōu)化數(shù)據(jù)處理和計算邏輯，實(shí)現(xiàn)了大規(guī)模訓(xùn)練（萬億級token）。
高效利用硬件
Mercury主要通過并行化文本生成、動態(tài)去噪調(diào)度、混合精度量化等技術(shù)，極致發(fā)揮GPU性能，實(shí)現(xiàn)對硬件的高效利用，降低訓(xùn)練和推理成本。
并行化文本生成
擴(kuò)散機(jī)制允許模型在單次前向傳播中預(yù)測多個token，相較于自回歸模型的“從左到右”逐詞生成，顯著提升了GPU利用率。
在NVIDIAH100GPU上，MercuryCoderMini和MercuryCoderSmall（MercuryCoder系列編碼優(yōu)化產(chǎn)品）分別實(shí)現(xiàn)了1109tokens/秒和737tokens/秒的吞吐量。
在CopilotArena的基準(zhǔn)測試中，可將響應(yīng)時間壓縮至其他工具的1/4，同時硬件資源占用減少60%。
動態(tài)去噪調(diào)度算法
Mercury通過自適應(yīng)調(diào)整去噪步數(shù)，在簡單任務(wù)中減少計算量，在復(fù)雜任務(wù)中保留足夠迭代次數(shù)，實(shí)現(xiàn)精度與效率的平衡，從而更高效地利用硬件資源，避免不必要的計算開銷。
混合精度量化技術(shù)
模型在推理時可自動切換至低精度計算模式，內(nèi)存占用減少30%，同時通過殘差補(bǔ)償機(jī)制維持輸出質(zhì)量。這讓Mercury能在有限的硬件內(nèi)存條件下運(yùn)行，且不明顯影響性能。
強(qiáng)大的錯誤糾正能力
與傳統(tǒng)自回歸模型“從左到右”逐詞生成，一旦生成難以回頭調(diào)整不同，Mercury不受限于僅考慮前面已生成的內(nèi)容，能夠在生成過程中動態(tài)修改之前的內(nèi)容，具有更大的靈活性。
雙向注意力機(jī)制
Mercury在去噪過程中引入上下文雙向關(guān)聯(lián)，能夠更好地理解文本的前后語境，從而更準(zhǔn)確地發(fā)現(xiàn)和糾正錯誤。
實(shí)時糾錯模塊
模型在去噪步驟中會同步檢測代碼邏輯漏洞，通過強(qiáng)化學(xué)習(xí)動態(tài)修正輸出。在代碼生成任務(wù)中，MercuryCoder可以自動修正邏輯漏洞，還支持函數(shù)級參數(shù)自動校正，能有效提高代碼的準(zhǔn)確性和可用性。
多語言語法樹嵌入
Mercury將Python、Java等語言的抽象語法樹（AST）結(jié)構(gòu)融入擴(kuò)散過程，有助于減少語法錯誤。
超快響應(yīng)速度與當(dāng)前CI能力不匹配
在LLMs出現(xiàn)之前，持續(xù)集成/交付（CI/CD）的速度就已經(jīng)成為一個主要瓶頸，這導(dǎo)致開發(fā)人員在測試時把時間浪費(fèi)在等待拉取請求（PRs）上。
有時，一個更改操作需要在隊列中等待數(shù)小時，甚至有時會因為不穩(wěn)定需要重新開始。
Mercury模型在編寫代碼方面實(shí)現(xiàn)了超高速響應(yīng)，但如果每次代碼更改都需要數(shù)小時進(jìn)行測試，那么就像這位網(wǎng)友提出的問題一樣：
即使大模型能夠以比人類快100倍的速度寫代碼，但測試速度跟不上的話，這將沒有什么意義。
于是問題來了：
如何緩解超快響應(yīng)速度與當(dāng)前CI能力不匹配的問題？
一些人認(rèn)為因為開發(fā)人員時間比機(jī)器時間昂貴得多，所以可以通過簡單地“投入更多機(jī)器”來解決CI速度問題。
然而，也有另一些人指出，這對于谷歌等“印鈔機(jī)”公司可能可行，但對于普通公司來說，CI預(yù)算是固定的，增加計算資源并不是一件容易的事情。
InceptionLabs團(tuán)隊
Mercury的開發(fā)方InceptionLabs的三位聯(lián)合創(chuàng)始人是來自斯坦福、UCLA和康奈爾大學(xué)的計算機(jī)教授。
其中，StefanoErmon是擴(kuò)散模型的共同發(fā)明人，他與Sohl-Dickstein等學(xué)者共同構(gòu)建了擴(kuò)散模型的理論基礎(chǔ)，并通過后續(xù)研究推動了模型的實(shí)用化。
另一位創(chuàng)始人AdityaGrover曾在MetaFAIR擔(dān)任研究科學(xué)家。
攻讀博士學(xué)位期間，他先后在谷歌DeepMind、微軟研究院和OpenAI實(shí)習(xí)。
VolodymyrKuleshov曾在2018年獲得ArthurSamuel最佳論文獎。
該團(tuán)隊包括來自GoogleDeepMind、微軟、Meta、OpenAI和NVIDIA的資深人士，目前正專注于用擴(kuò)散技術(shù)改進(jìn)大模型性能。
InceptionLabs還開放了Mercury模型的在線體驗平臺。
感興趣的朋友可點(diǎn)擊下方鏈接體驗～
論文地址：https://arxiv.org/abs/2506.17298Mercury在線體驗平臺：https://chat.inceptionlabs.ai/
參考鏈接：https://news.ycombinator.com/item?id=44489690
畫風(fēng)獨(dú)特的良心小說《寵寵欲動:總裁太甜了》,劇情好看,值得收藏的...
《你從光中走來》:上校滿軍大院尋找嬌妻,老首長都發(fā)飆了
奇跡般暢銷的良心小說《寵寵欲動:總裁太甜了》,讀完真的相信愛情了!
