郗向文

誰說擴(kuò)散模型只能生成圖像和視頻？

現(xiàn)在它們能高質(zhì)量地寫代碼了，速度還比傳統(tǒng)大模型更快！

InceptionLabs推出基于擴(kuò)散技術(shù)的全新商業(yè)級(jí)大語言模型——Mercury。

Mercury突破了自回歸模型“從左到右”逐詞生成的限制，采用“從噪聲到結(jié)構(gòu)化輸出”的方式，能一次性預(yù)測所有方向的token，提高了生成速度。

這樣一來，Mercury還解決了自回歸“一旦生成難以回頭調(diào)整”的問題。

擴(kuò)散模型并不是僅考慮前面已經(jīng)生成的內(nèi)容，它能在生成過程中進(jìn)行動(dòng)態(tài)糾錯(cuò)修改，具有更大的靈活性。

盡管采用了擴(kuò)散技術(shù)，Mercury模型系列仍保留了Transformer架構(gòu)。

這確保了該模型能直接復(fù)用近年來為大語言模型開發(fā)的高效訓(xùn)練、推理優(yōu)化技術(shù)（如低階算子優(yōu)化、超參數(shù)調(diào)優(yōu)工具等）。

實(shí)測數(shù)據(jù)顯示，面對相同的編程任務(wù)，Mercury的代碼生成速度比傳統(tǒng)工具最多快10倍，大幅縮短了開發(fā)周期。

在H100GPU上實(shí)現(xiàn)1109tokens/秒吞吐量

Mercury用成熟的Transformer作為神經(jīng)網(wǎng)絡(luò)基礎(chǔ)，結(jié)合擴(kuò)散技術(shù)的并行生成能力，既保留了大模型的兼容性，又突破了自回歸模型逐詞生成的速度限制。

擴(kuò)散生成流程

Mercury的核心創(chuàng)新在于“擴(kuò)散式生成”，流程如下：

訓(xùn)練階段的正向過程：從真實(shí)文本（如代碼片段）出發(fā)，逐步加入噪聲（隨機(jī)替換、刪除token等），最終變成完全隨機(jī)的噪聲序列。

推理階段的反向過程（核心）：從隨機(jī)噪聲開始，通過Transformer模型迭代優(yōu)化，逐步去除噪聲，最終生成符合真實(shí)分布的文本。每次迭代中，模型會(huì)并行修改多個(gè)token，而非逐詞生成。

這一過程擴(kuò)展了此前的離散擴(kuò)散方法，通過優(yōu)化數(shù)據(jù)處理和計(jì)算邏輯，實(shí)現(xiàn)了大規(guī)模訓(xùn)練（萬億級(jí)token）。

高效利用硬件

Mercury主要通過并行化文本生成、動(dòng)態(tài)去噪調(diào)度、混合精度量化等技術(shù)，極致發(fā)揮GPU性能，實(shí)現(xiàn)對硬件的高效利用，降低訓(xùn)練和推理成本。

并行化文本生成

擴(kuò)散機(jī)制允許模型在單次前向傳播中預(yù)測多個(gè)token，相較于自回歸模型的“從左到右”逐詞生成，顯著提升了GPU利用率。

在NVIDIAH100GPU上，MercuryCoderMini和MercuryCoderSmall（MercuryCoder系列編碼優(yōu)化產(chǎn)品）分別實(shí)現(xiàn)了1109tokens/秒和737tokens/秒的吞吐量。

在CopilotArena的基準(zhǔn)測試中，可將響應(yīng)時(shí)間壓縮至其他工具的1/4，同時(shí)硬件資源占用減少60%。

動(dòng)態(tài)去噪調(diào)度算法

Mercury通過自適應(yīng)調(diào)整去噪步數(shù)，在簡單任務(wù)中減少計(jì)算量，在復(fù)雜任務(wù)中保留足夠迭代次數(shù)，實(shí)現(xiàn)精度與效率的平衡，從而更高效地利用硬件資源，避免不必要的計(jì)算開銷。

混合精度量化技術(shù)

模型在推理時(shí)可自動(dòng)切換至低精度計(jì)算模式，內(nèi)存占用減少30%，同時(shí)通過殘差補(bǔ)償機(jī)制維持輸出質(zhì)量。這讓Mercury能在有限的硬件內(nèi)存條件下運(yùn)行，且不明顯影響性能。

強(qiáng)大的錯(cuò)誤糾正能力

與傳統(tǒng)自回歸模型“從左到右”逐詞生成，一旦生成難以回頭調(diào)整不同，Mercury不受限于僅考慮前面已生成的內(nèi)容，能夠在生成過程中動(dòng)態(tài)修改之前的內(nèi)容，具有更大的靈活性。

雙向注意力機(jī)制

Mercury在去噪過程中引入上下文雙向關(guān)聯(lián)，能夠更好地理解文本的前后語境，從而更準(zhǔn)確地發(fā)現(xiàn)和糾正錯(cuò)誤。

實(shí)時(shí)糾錯(cuò)模塊

模型在去噪步驟中會(huì)同步檢測代碼邏輯漏洞，通過強(qiáng)化學(xué)習(xí)動(dòng)態(tài)修正輸出。在代碼生成任務(wù)中，MercuryCoder可以自動(dòng)修正邏輯漏洞，還支持函數(shù)級(jí)參數(shù)自動(dòng)校正，能有效提高代碼的準(zhǔn)確性和可用性。

多語言語法樹嵌入

Mercury將Python、Java等語言的抽象語法樹（AST）結(jié)構(gòu)融入擴(kuò)散過程，有助于減少語法錯(cuò)誤。

超快響應(yīng)速度與當(dāng)前CI能力不匹配

在LLMs出現(xiàn)之前，持續(xù)集成/交付（CI/CD）的速度就已經(jīng)成為一個(gè)主要瓶頸，這導(dǎo)致開發(fā)人員在測試時(shí)把時(shí)間浪費(fèi)在等待拉取請求（PRs）上。

有時(shí)，一個(gè)更改操作需要在隊(duì)列中等待數(shù)小時(shí)，甚至有時(shí)會(huì)因?yàn)椴环€(wěn)定需要重新開始。

Mercury模型在編寫代碼方面實(shí)現(xiàn)了超高速響應(yīng)，但如果每次代碼更改都需要數(shù)小時(shí)進(jìn)行測試，那么就像這位網(wǎng)友提出的問題一樣：

即使大模型能夠以比人類快100倍的速度寫代碼，但測試速度跟不上的話，這將沒有什么意義。

于是問題來了：

如何緩解超快響應(yīng)速度與當(dāng)前CI能力不匹配的問題？

一些人認(rèn)為因?yàn)殚_發(fā)人員時(shí)間比機(jī)器時(shí)間昂貴得多，所以可以通過簡單地“投入更多機(jī)器”來解決CI速度問題。

然而，也有另一些人指出，這對于谷歌等“印鈔機(jī)”公司可能可行，但對于普通公司來說，CI預(yù)算是固定的，增加計(jì)算資源并不是一件容易的事情。

InceptionLabs團(tuán)隊(duì)

Mercury的開發(fā)方InceptionLabs的三位聯(lián)合創(chuàng)始人是來自斯坦福、UCLA和康奈爾大學(xué)的計(jì)算機(jī)教授。

其中，StefanoErmon是擴(kuò)散模型的共同發(fā)明人，他與Sohl-Dickstein等學(xué)者共同構(gòu)建了擴(kuò)散模型的理論基礎(chǔ)，并通過后續(xù)研究推動(dòng)了模型的實(shí)用化。

另一位創(chuàng)始人AdityaGrover曾在MetaFAIR擔(dān)任研究科學(xué)家。

攻讀博士學(xué)位期間，他先后在谷歌DeepMind、微軟研究院和OpenAI實(shí)習(xí)。

VolodymyrKuleshov曾在2018年獲得ArthurSamuel最佳論文獎(jiǎng)。

該團(tuán)隊(duì)包括來自GoogleDeepMind、微軟、Meta、OpenAI和NVIDIA的資深人士，目前正專注于用擴(kuò)散技術(shù)改進(jìn)大模型性能。

InceptionLabs還開放了Mercury模型的在線體驗(yàn)平臺(tái)。

感興趣的朋友可點(diǎn)擊下方鏈接體驗(yàn)～

論文地址：https://arxiv.org/abs/2506.17298Mercury在線體驗(yàn)平臺(tái)：https://chat.inceptionlabs.ai/

參考鏈接：https://news.ycombinator.com/item?id=44489690

古言寵文:她前世被人陷害,重生定要翻盤,步步為營一步一翻轉(zhuǎn)

寶藏書籍《重生之嫡女有毒》何以狂刷百遍看不膩!

編輯精選良心小說《重生之嫡女有毒》,讓單身汪都渴望愛情的滋潤了!