佛山投放 5200 只「滅蚊魚」,能有效遏制蚊蟲(chóng)滋生嗎?生物防治是否比化學(xué)藥劑更有效?
誰(shuí)說(shuō)擴(kuò)散模型只能生成圖像和視頻?
現(xiàn)在它們能高質(zhì)量地寫代碼了,速度還比傳統(tǒng)大模型更快!
InceptionLabs推出基于擴(kuò)散技術(shù)的全新商業(yè)級(jí)大語(yǔ)言模型——Mercury。
Mercury突破了自回歸模型“從左到右”逐詞生成的限制,采用“從噪聲到結(jié)構(gòu)化輸出”的方式,能一次性預(yù)測(cè)所有方向的token,提高了生成速度。
這樣一來(lái),Mercury還解決了自回歸“一旦生成難以回頭調(diào)整”的問(wèn)題。
擴(kuò)散模型并不是僅考慮前面已經(jīng)生成的內(nèi)容,它能在生成過(guò)程中進(jìn)行動(dòng)態(tài)糾錯(cuò)修改,具有更大的靈活性。
盡管采用了擴(kuò)散技術(shù),Mercury模型系列仍保留了Transformer架構(gòu)。
這確保了該模型能直接復(fù)用近年來(lái)為大語(yǔ)言模型開(kāi)發(fā)的高效訓(xùn)練、推理優(yōu)化技術(shù)(如低階算子優(yōu)化、超參數(shù)調(diào)優(yōu)工具等)。
實(shí)測(cè)數(shù)據(jù)顯示,面對(duì)相同的編程任務(wù),Mercury的代碼生成速度比傳統(tǒng)工具最多快10倍,大幅縮短了開(kāi)發(fā)周期。
在H100GPU上實(shí)現(xiàn)1109tokens/秒吞吐量
Mercury用成熟的Transformer作為神經(jīng)網(wǎng)絡(luò)基礎(chǔ),結(jié)合擴(kuò)散技術(shù)的并行生成能力,既保留了大模型的兼容性,又突破了自回歸模型逐詞生成的速度限制。
擴(kuò)散生成流程
Mercury的核心創(chuàng)新在于“擴(kuò)散式生成”,流程如下:
訓(xùn)練階段的正向過(guò)程:從真實(shí)文本(如代碼片段)出發(fā),逐步加入噪聲(隨機(jī)替換、刪除token等),最終變成完全隨機(jī)的噪聲序列。
推理階段的反向過(guò)程(核心):從隨機(jī)噪聲開(kāi)始,通過(guò)Transformer模型迭代優(yōu)化,逐步去除噪聲,最終生成符合真實(shí)分布的文本。每次迭代中,模型會(huì)并行修改多個(gè)token,而非逐詞生成。
這一過(guò)程擴(kuò)展了此前的離散擴(kuò)散方法,通過(guò)優(yōu)化數(shù)據(jù)處理和計(jì)算邏輯,實(shí)現(xiàn)了大規(guī)模訓(xùn)練(萬(wàn)億級(jí)token)。
高效利用硬件
Mercury主要通過(guò)并行化文本生成、動(dòng)態(tài)去噪調(diào)度、混合精度量化等技術(shù),極致發(fā)揮GPU性能,實(shí)現(xiàn)對(duì)硬件的高效利用,降低訓(xùn)練和推理成本。
并行化文本生成
擴(kuò)散機(jī)制允許模型在單次前向傳播中預(yù)測(cè)多個(gè)token,相較于自回歸模型的“從左到右”逐詞生成,顯著提升了GPU利用率。
在NVIDIAH100GPU上,MercuryCoderMini和MercuryCoderSmall(MercuryCoder系列編碼優(yōu)化產(chǎn)品)分別實(shí)現(xiàn)了1109tokens/秒和737tokens/秒的吞吐量。
在CopilotArena的基準(zhǔn)測(cè)試中,可將響應(yīng)時(shí)間壓縮至其他工具的1/4,同時(shí)硬件資源占用減少60%。
動(dòng)態(tài)去噪調(diào)度算法
Mercury通過(guò)自適應(yīng)調(diào)整去噪步數(shù),在簡(jiǎn)單任務(wù)中減少計(jì)算量,在復(fù)雜任務(wù)中保留足夠迭代次數(shù),實(shí)現(xiàn)精度與效率的平衡,從而更高效地利用硬件資源,避免不必要的計(jì)算開(kāi)銷。
混合精度量化技術(shù)
模型在推理時(shí)可自動(dòng)切換至低精度計(jì)算模式,內(nèi)存占用減少30%,同時(shí)通過(guò)殘差補(bǔ)償機(jī)制維持輸出質(zhì)量。這讓Mercury能在有限的硬件內(nèi)存條件下運(yùn)行,且不明顯影響性能。
強(qiáng)大的錯(cuò)誤糾正能力
與傳統(tǒng)自回歸模型“從左到右”逐詞生成,一旦生成難以回頭調(diào)整不同,Mercury不受限于僅考慮前面已生成的內(nèi)容,能夠在生成過(guò)程中動(dòng)態(tài)修改之前的內(nèi)容,具有更大的靈活性。
雙向注意力機(jī)制
Mercury在去噪過(guò)程中引入上下文雙向關(guān)聯(lián),能夠更好地理解文本的前后語(yǔ)境,從而更準(zhǔn)確地發(fā)現(xiàn)和糾正錯(cuò)誤。
實(shí)時(shí)糾錯(cuò)模塊
模型在去噪步驟中會(huì)同步檢測(cè)代碼邏輯漏洞,通過(guò)強(qiáng)化學(xué)習(xí)動(dòng)態(tài)修正輸出。在代碼生成任務(wù)中,MercuryCoder可以自動(dòng)修正邏輯漏洞,還支持函數(shù)級(jí)參數(shù)自動(dòng)校正,能有效提高代碼的準(zhǔn)確性和可用性。
多語(yǔ)言語(yǔ)法樹(shù)嵌入
Mercury將Python、Java等語(yǔ)言的抽象語(yǔ)法樹(shù)(AST)結(jié)構(gòu)融入擴(kuò)散過(guò)程,有助于減少語(yǔ)法錯(cuò)誤。
超快響應(yīng)速度與當(dāng)前CI能力不匹配
在LLMs出現(xiàn)之前,持續(xù)集成/交付(CI/CD)的速度就已經(jīng)成為一個(gè)主要瓶頸,這導(dǎo)致開(kāi)發(fā)人員在測(cè)試時(shí)把時(shí)間浪費(fèi)在等待拉取請(qǐng)求(PRs)上。
有時(shí),一個(gè)更改操作需要在隊(duì)列中等待數(shù)小時(shí),甚至有時(shí)會(huì)因?yàn)椴环€(wěn)定需要重新開(kāi)始。
Mercury模型在編寫代碼方面實(shí)現(xiàn)了超高速響應(yīng),但如果每次代碼更改都需要數(shù)小時(shí)進(jìn)行測(cè)試,那么就像這位網(wǎng)友提出的問(wèn)題一樣:
即使大模型能夠以比人類快100倍的速度寫代碼,但測(cè)試速度跟不上的話,這將沒(méi)有什么意義。
于是問(wèn)題來(lái)了:
如何緩解超快響應(yīng)速度與當(dāng)前CI能力不匹配的問(wèn)題?
一些人認(rèn)為因?yàn)殚_(kāi)發(fā)人員時(shí)間比機(jī)器時(shí)間昂貴得多,所以可以通過(guò)簡(jiǎn)單地“投入更多機(jī)器”來(lái)解決CI速度問(wèn)題。
然而,也有另一些人指出,這對(duì)于谷歌等“印鈔機(jī)”公司可能可行,但對(duì)于普通公司來(lái)說(shuō),CI預(yù)算是固定的,增加計(jì)算資源并不是一件容易的事情。
InceptionLabs團(tuán)隊(duì)
Mercury的開(kāi)發(fā)方InceptionLabs的三位聯(lián)合創(chuàng)始人是來(lái)自斯坦福、UCLA和康奈爾大學(xué)的計(jì)算機(jī)教授。
其中,StefanoErmon是擴(kuò)散模型的共同發(fā)明人,他與Sohl-Dickstein等學(xué)者共同構(gòu)建了擴(kuò)散模型的理論基礎(chǔ),并通過(guò)后續(xù)研究推動(dòng)了模型的實(shí)用化。
另一位創(chuàng)始人AdityaGrover曾在MetaFAIR擔(dān)任研究科學(xué)家。
攻讀博士學(xué)位期間,他先后在谷歌DeepMind、微軟研究院和OpenAI實(shí)習(xí)。
VolodymyrKuleshov曾在2018年獲得ArthurSamuel最佳論文獎(jiǎng)。
該團(tuán)隊(duì)包括來(lái)自GoogleDeepMind、微軟、Meta、OpenAI和NVIDIA的資深人士,目前正專注于用擴(kuò)散技術(shù)改進(jìn)大模型性能。
InceptionLabs還開(kāi)放了Mercury模型的在線體驗(yàn)平臺(tái)。
感興趣的朋友可點(diǎn)擊下方鏈接體驗(yàn)~
論文地址:https://arxiv.org/abs/2506.17298Mercury在線體驗(yàn)平臺(tái):https://chat.inceptionlabs.ai/
參考鏈接:https://news.ycombinator.com/item?id=44489690
暢銷之作《絕地求生之今晚吃雞》,讓人過(guò)目不忘的細(xì)節(jié),強(qiáng)勢(shì)霸榜!
絕地求生pubg吃雞:一鍵免費(fèi)加速教程,怎么免費(fèi)加速?
絕地求生pubg吃雞出現(xiàn)插曲,加入隊(duì)伍沒(méi)反應(yīng)?別怕