白交發(fā)自凹非寺量子位|公眾號QbitAI

「幻覺」成為今年WAIC首個熱議詞。

諾獎得主Hinton中國首秀，就打響了第一槍，他談到人類與大模型之間的的復(fù)雜對立與共生關(guān)系。

人類大腦和大語言模型對語言的理解幾乎是同一種方式，所以人類有可能就是大語言模型，人類也會和大語言模型一樣存在幻覺。我們必須找到一種辦法，訓(xùn)練AI，讓他們不想消滅人類。

緊接著下午論壇上，中國工程院院士、人機混合增強智能全國重點實驗室主任鄭南寧表示，大模型目前仍存在著困境，在模型能力不斷擴展的同時，其“幻覺”現(xiàn)象已成為制約其可靠性與實用性的關(guān)鍵問題之一。

無獨有偶，在產(chǎn)業(yè)界這邊，基于全國產(chǎn)算力大模型訊飛星火X1升級版，此次在WAIC的首秀，也將幻覺問題作為核心突破點。

他們的新版本模型，不管是「大模型自身生成內(nèi)容是否符合客觀事實」的事實性幻覺治理，還是「在用戶給定額外參考資料時大模型回復(fù)是否忠于原文」的忠實性幻覺治理，都取得了明顯進(jìn)步。

前段時間，谷歌OpenAI還有Anthropic罕見聯(lián)手帶頭發(fā)表論文，同樣也是幻覺相關(guān)。他們提出了CoT監(jiān)測，并認(rèn)為這也許是控制AIAgent的核心方法，來保障前沿AI的安全性。

Hinton、OpenAI聯(lián)創(chuàng)Ilya、JohnSchulman幾位大佬，一起為研究提供專家支持。

今年已經(jīng)是Agent元年、還是具身智能量產(chǎn)元年，大模型落地已經(jīng)如火如荼。

幻覺這個從大模型誕生之初就被提及的詞，為何此時此刻還在全球范圍內(nèi)被多次重復(fù)提起呢？

幻覺成為今年WAIC首個熱議詞

先來看看WAIC上大佬們都說了啥。

諾獎得主Hinton將目光聚焦在更長遠(yuǎn)的未來人類與AI的共存上面，演講主題為《數(shù)字智能是否會取代生物智能》。

他首先談到大語言模型的能力，它們確實理解自己所說的話，這與人類理解語言是同一種方式。而且它們這種數(shù)字化大腦，也遠(yuǎn)遠(yuǎn)優(yōu)于（類比信號驅(qū)動的）人類大腦。

人類將自己所學(xué)的知識永久保留很困難，但是AI可以通過共享參數(shù)實現(xiàn)知識的快速傳遞。

人類和AI的現(xiàn)狀，就好比養(yǎng)了一只非?？蓯鄣男』⑨獭．?dāng)它長大后，可以輕易干掉你。為了生存，要么擺脫這只小虎崽，要么找到一種方法可以永遠(yuǎn)保護自己。

我們已經(jīng)不可能消除AI了，它能使幾乎每個行業(yè)大幅提效。哪怕有國家想要消除，其他國家也不會這么做。所以，呼吁世界建立一個由各國人工智能安全研究所與國內(nèi)研究網(wǎng)絡(luò)組成的國際社群，培養(yǎng)出不會從人類手中奪權(quán)的好AI。

中國工程院院士、人機混合增強智能全國重點實驗室主任鄭南寧這邊，則是從技術(shù)本身和當(dāng)下行業(yè)發(fā)展的維度，來思考幻覺會帶來的影響。

當(dāng)下模型能力不斷擴展，但仍然存在困境，其中“幻覺”現(xiàn)象最為典型。他強調(diào)“幻覺”現(xiàn)象已成為制約其可靠性與實用性的關(guān)鍵問題之一。

所謂幻覺，即在缺乏事實支撐或邏輯校驗的情況下，生成出語義連貫但事實錯誤或虛構(gòu)的信息?；糜X不僅體現(xiàn)在細(xì)節(jié)性誤報，更可能在多輪對話、復(fù)雜任務(wù)規(guī)劃中造成系統(tǒng)性誤導(dǎo)。

至于幻覺的成因，他具體解釋，“在于當(dāng)前大模型仍以統(tǒng)計相關(guān)性驅(qū)動語言生成，缺乏對世界知識的結(jié)構(gòu)化表征與因果推理能力，無法對生成內(nèi)容進(jìn)行驗證、糾錯或自我否定，難以實現(xiàn)真正的認(rèn)知躍遷?！?/p>

此外，他還強調(diào)了未來可能存在的風(fēng)險。不可否認(rèn)的是，AI正在展現(xiàn)出自我改進(jìn)的潛力，每代的智能體都推動著下一代的演進(jìn)。

隨著AI能力越來越強，一旦AI主導(dǎo)了架構(gòu)設(shè)計以及訓(xùn)練流程，在訓(xùn)練時候扮演主導(dǎo)的角色，其發(fā)展會加速演化，或超出人類預(yù)測與控制的邊界。

可以看到，不管是Hinton從人類與AI的長遠(yuǎn)共存出發(fā)，警示著技術(shù)狂奔背后的生存挑戰(zhàn)與全球協(xié)同治理的迫切性；還是鄭南寧院士扎根當(dāng)下，直指幻覺這一技術(shù)痛點對AI可靠性的制約，以及其背后大模型認(rèn)知邏輯的深層局限，都向我們敲響了AI自我演進(jìn)可能失控的警鐘。

前段時間，科技圈一篇重磅論文引發(fā)關(guān)注。

OpenAI谷歌Anthropic罕見聯(lián)手帶頭發(fā)研究。來自40余位頂尖機構(gòu)的合著者，包含圖靈獎得主YoshuaBengio、OpenAI首席研究員MarkChen、OpenAI首席科學(xué)家JakubPachocki、谷歌DeepMind聯(lián)合創(chuàng)始人ShaneLegg也在內(nèi)，共同探討了AI安全議題。

他們將目光瞄準(zhǔn)在了思維鏈CoT，新方法CoT監(jiān)測為前沿AI的安全措施提供了寶貴的補充，同時也讓我們了解到AIAgent如何做出決策。

雖然維度不同視角不同，他們卻共同指向了同一個核心命題：

當(dāng)AI的能力邊界持續(xù)拓展，如何在釋放其效能的同時，馴服“幻覺”等技術(shù)頑疾、筑牢安全防線，既是當(dāng)下行業(yè)突破的關(guān)鍵，更是決定人類與AI能否良性共生的長遠(yuǎn)考題。

這一核心命題之下，其實勾勒出AI技術(shù)演進(jìn)的雙重路徑：短期需攻克幻覺等可靠性難題，長期需建立可持續(xù)的信任機制。

這兩條線索的交匯點，正是“可信AI”——唯有讓技術(shù)在可控性、準(zhǔn)確性、安全性上形成閉環(huán)，AI才能真正穿透實驗室的邊界，滲透到醫(yī)療、工業(yè)、政務(wù)等全場景肌理之中。

當(dāng)AIAgent逐漸演進(jìn)成為生產(chǎn)力工具，當(dāng)具身智能開始落地在千行百業(yè)，可信已不僅是技術(shù)參數(shù)，更是數(shù)字時代的“生存許可證”，保障大模型產(chǎn)業(yè)落地應(yīng)用的可靠性。

巧的是，此次同樣將幻覺作為核心突破點的訊飛X1升級版，正好為這一論斷添上了強有力的佐證。

訊飛星火X1升級版：幻覺治理取得顯著進(jìn)步

當(dāng)前大模型產(chǎn)業(yè)面臨三大共性難題：復(fù)雜任務(wù)訓(xùn)練效率低下、高質(zhì)量數(shù)據(jù)供給不足、幻覺問題阻礙可信落地。此次訊飛星火X1的三大技術(shù)創(chuàng)新——強化學(xué)習(xí)、數(shù)據(jù)反寫以及幻覺治理技術(shù)，恰好是針對這些痛點的系統(tǒng)性突破。

強化學(xué)習(xí)技術(shù)，傳統(tǒng)RLHF依賴單一標(biāo)量獎勵，如同僅用考試總分指導(dǎo)學(xué)習(xí)，學(xué)生無法知曉具體錯題步驟。在數(shù)學(xué)推理、醫(yī)療診斷等需要多步邏輯的場景中，獎勵信號稀疏導(dǎo)致模型收斂緩慢、效果受限。教育領(lǐng)域解題輔導(dǎo)常出現(xiàn)“結(jié)果正確但過程混亂”，醫(yī)療診斷模型則難以追溯錯誤決策鏈。

訊飛提出了“評語模型+細(xì)粒度反饋”相結(jié)合的強化學(xué)習(xí)框架。文本級評語信號，將“總分制”改為“批注式”，為每個推理步驟生成自然語言評析，在回復(fù)各步驟（比如問題拆解、公式調(diào)用、結(jié)果計算等）提供細(xì)粒度獎勵，這有效降低了任務(wù)訓(xùn)練難度，解決獎勵稀疏痛點。

數(shù)據(jù)反寫技術(shù)。數(shù)據(jù)作為AI的關(guān)鍵燃料，頭部企業(yè)可能耗費千萬級資金來獲取高質(zhì)量數(shù)據(jù)集，而中小企業(yè)受困于數(shù)據(jù)匱乏。

此次他們提出了專家數(shù)據(jù)驅(qū)動的數(shù)據(jù)反寫引擎，它可以實現(xiàn)通用認(rèn)知任務(wù)泛化、文本風(fēng)格文筆順滑遷移，這樣極大緩解了SFT高質(zhì)量數(shù)據(jù)獲取困難、人工標(biāo)注數(shù)據(jù)成本過高等問題。

再者就是幻覺治理方面，他們提出了多路徑采樣驗證及事實性約束強化學(xué)習(xí)的幻覺治理技術(shù)。

在大模型思考過程及回復(fù)生成階段實現(xiàn)客觀問題上與標(biāo)準(zhǔn)答案的深度強對齊，這種「硬約束」大幅減少了在慢思考下的幻覺率，有效保障了文本摘要、RAG等任務(wù)的回復(fù)可靠性。

星火X1升級后，在幻覺治理方面領(lǐng)先業(yè)界主流模型。

跟往常慣例一樣，訊飛星火每一次升級，都有顯著的能力躍遷。

其中綜合能力有大幅提升，整體效果對標(biāo)OpenAIo3等國內(nèi)外一流大模型最新版本效果，在翻譯、推理、文本生成、數(shù)學(xué)等方面保持領(lǐng)先。

像今年挑戰(zhàn)高考數(shù)學(xué)一卷，星火X1-0420版本突破了140分。本次升級，數(shù)學(xué)能力再次提升，如今再挑戰(zhàn)數(shù)學(xué)題，即便是最后一道難住不少人類和大模型的題，星火X1-0720版本可以完整答對~

還有多語言能力這次也很驚艷，目前已覆蓋130+語種，包括了像泰語、菲律賓語、老撾語、俄語、日語、法語、阿拉伯語、越南語、西班牙語、葡萄牙語、德語、印尼語、馬來語、緬甸語等都可以支持，不管是日常問答、解數(shù)學(xué)題、寫文章還是翻譯，都能搞定。

而基于星火X1底座的語音同傳大模型也在翻譯效果、實時響應(yīng)、語音聽感、專業(yè)精深等方面大幅躍升，持續(xù)行業(yè)領(lǐng)先，并且具備語種免切換能力。

目前在訊飛同傳會議服務(wù)、訊飛翻譯機、訊飛AI錄音筆這些智能設(shè)備都有升級了哦。

Bytheway，此次Hinton演講背后的AI同傳，背后也是星火支持的。

我們知道，“能用”和“好用”之間，差的是技術(shù)深度與落地廣度。

當(dāng)用技術(shù)將系統(tǒng)級難題解決了，才能提升全場景應(yīng)用的可靠性。此次在教育、醫(yī)療、企業(yè)應(yīng)用、代碼、科研等行業(yè)，模型在解決復(fù)雜任務(wù)的能力都有很大的升級。

比如在教育層面，用于個性化教與學(xué)全場景的作業(yè)批改、個性化推薦、答疑輔學(xué)、科普問答、口語學(xué)習(xí)等各項能力顯著提升，持續(xù)保持業(yè)界領(lǐng)先，推動應(yīng)用成效顯著提升。

醫(yī)療方面，在全科輔助診斷、體檢報告解讀、健康咨詢等通用醫(yī)療任務(wù)上持續(xù)保持業(yè)界大幅領(lǐng)先。

星火醫(yī)療大模型與三甲醫(yī)院主治醫(yī)師進(jìn)行了雙盲對比評測，結(jié)果表明星火醫(yī)療大模型在心血管內(nèi)科、兒科、呼吸內(nèi)科三個科室的綜合診療能力總體達(dá)到三甲醫(yī)院主治醫(yī)師水平。模型給出的病因分析及診斷推薦在準(zhǔn)確性和專業(yè)性上已經(jīng)超過主治醫(yī)師水平，同時在可讀性和完整性方面具有明顯優(yōu)勢，在實際應(yīng)用中可增強患者對診療建議的依從性。

而在面臨場景業(yè)務(wù)更復(fù)雜的企業(yè)側(cè)，代碼是一個典型場景。

基于訊飛星火X1的星火代碼大模型，有效提升了項目級代碼理解與生成、單元測試智能體、WEB應(yīng)用對話式編程等核心任務(wù)表現(xiàn)。

目前，星火代碼大模型已深度賦能金融、制造、能源、科技等100余家關(guān)鍵領(lǐng)域客戶，在典型應(yīng)用場景中驅(qū)動研發(fā)效率提升超過50%，助力企業(yè)在數(shù)字時代贏得競爭新優(yōu)勢。

此外，開發(fā)者這一端訊飛也照顧到了，星火Agent平臺依托全開放架構(gòu)，整合16000+個MCP工具，成為“效果最佳、工具最全、服務(wù)最優(yōu)”的生產(chǎn)級智能體平臺。其中還提供了Prompt對比調(diào)優(yōu)和和全鏈路測評功能，讓開發(fā)者輕松搭建智能體應(yīng)用。

星火X1最新升級的能力可直接在訊飛星火網(wǎng)頁版和APP進(jìn)行體驗，全新API已同步上線訊飛開放平臺。

從事實性與忠實性幻覺的雙重改善，到數(shù)學(xué)推理、醫(yī)療診斷等垂直場景的精準(zhǔn)落地，訊飛星火X1作為產(chǎn)業(yè)界的代表性成果，正好就是對「可信AI」這一命題的有力回應(yīng)：可信AI的發(fā)展，保障全場景的產(chǎn)業(yè)落地。

可信AI的發(fā)展保障全場景的產(chǎn)業(yè)落地

說回到今年WAIC，今年確實很熱鬧，外國人不少，票很早就已售罄，Hinton首次來中國就將WAIC作為自己的首秀。

一邊感慨中國AI產(chǎn)業(yè)發(fā)展如此繁榮，滿眼都是Agent、各種具身智能和智能終端；一邊又覺得越是這樣，背后底層技術(shù)的發(fā)展越不能忽略。

幻覺之所以反復(fù)被提及，本質(zhì)上是AI從“技術(shù)探索”邁向“全場景滲透”的必經(jīng)考驗。

訊飛星火X1用實際效果證明：當(dāng)模型能自我校驗、數(shù)據(jù)能精準(zhǔn)反哺、系統(tǒng)能動態(tài)優(yōu)化，可信AI就能從概念變?yōu)楝F(xiàn)實，進(jìn)而穿透教育、醫(yī)療、制造、跨境服務(wù)等千行百業(yè)的場景壁壘。

歸根結(jié)底，AI的全場景落地，從來不是單純的能力擴張，而是“能力與可信”的平衡進(jìn)階。

當(dāng)學(xué)界構(gòu)建安全治理框架、產(chǎn)業(yè)界攻克幻覺等技術(shù)頑疾，當(dāng)每一次模型升級都以“更可靠”為標(biāo)尺，可信AI才能真正成為激活全場景價值的核心引擎。

「幻覺」成為今年WAIC首個熱議詞也就不意外了。好了，這次在WAIC上感受下來，你認(rèn)為的關(guān)鍵詞是什么？歡迎在評論與我們分享你的體驗。