白交發(fā)自凹非寺量子位|公眾號QbitAI

「幻覺」成為今年WAIC首個熱議詞。

諾獎得主Hinton中國首秀，就打響了第一槍，他談到人類與大模型之間的的復雜對立與共生關系。

人類大腦和大語言模型對語言的理解幾乎是同一種方式，所以人類有可能就是大語言模型，人類也會和大語言模型一樣存在幻覺。我們必須找到一種辦法，訓練AI，讓他們不想消滅人類。

緊接著下午論壇上，中國工程院院士、人機混合增強智能全國重點實驗室主任鄭南寧表示，大模型目前仍存在著困境，在模型能力不斷擴展的同時，其“幻覺”現象已成為制約其可靠性與實用性的關鍵問題之一。

無獨有偶，在產業(yè)界這邊，基于全國產算力大模型訊飛星火X1升級版，此次在WAIC的首秀，也將幻覺問題作為核心突破點。

他們的新版本模型，不管是「大模型自身生成內容是否符合客觀事實」的事實性幻覺治理，還是「在用戶給定額外參考資料時大模型回復是否忠于原文」的忠實性幻覺治理，都取得了明顯進步。

前段時間，谷歌OpenAI還有Anthropic罕見聯手帶頭發(fā)表論文，同樣也是幻覺相關。他們提出了CoT監(jiān)測，并認為這也許是控制AIAgent的核心方法，來保障前沿AI的安全性。

Hinton、OpenAI聯創(chuàng)Ilya、JohnSchulman幾位大佬，一起為研究提供專家支持。

今年已經是Agent元年、還是具身智能量產元年，大模型落地已經如火如荼。

幻覺這個從大模型誕生之初就被提及的詞，為何此時此刻還在全球范圍內被多次重復提起呢？

幻覺成為今年WAIC首個熱議詞

先來看看WAIC上大佬們都說了啥。

諾獎得主Hinton將目光聚焦在更長遠的未來人類與AI的共存上面，演講主題為《數字智能是否會取代生物智能》。

他首先談到大語言模型的能力，它們確實理解自己所說的話，這與人類理解語言是同一種方式。而且它們這種數字化大腦，也遠遠優(yōu)于（類比信號驅動的）人類大腦。

人類將自己所學的知識永久保留很困難，但是AI可以通過共享參數實現知識的快速傳遞。

人類和AI的現狀，就好比養(yǎng)了一只非常可愛的小虎崽。當它長大后，可以輕易干掉你。為了生存，要么擺脫這只小虎崽，要么找到一種方法可以永遠保護自己。

我們已經不可能消除AI了，它能使幾乎每個行業(yè)大幅提效。哪怕有國家想要消除，其他國家也不會這么做。所以，呼吁世界建立一個由各國人工智能安全研究所與國內研究網絡組成的國際社群，培養(yǎng)出不會從人類手中奪權的好AI。

中國工程院院士、人機混合增強智能全國重點實驗室主任鄭南寧這邊，則是從技術本身和當下行業(yè)發(fā)展的維度，來思考幻覺會帶來的影響。

當下模型能力不斷擴展，但仍然存在困境，其中“幻覺”現象最為典型。他強調“幻覺”現象已成為制約其可靠性與實用性的關鍵問題之一。

所謂幻覺，即在缺乏事實支撐或邏輯校驗的情況下，生成出語義連貫但事實錯誤或虛構的信息?；糜X不僅體現在細節(jié)性誤報，更可能在多輪對話、復雜任務規(guī)劃中造成系統(tǒng)性誤導。

至于幻覺的成因，他具體解釋，“在于當前大模型仍以統(tǒng)計相關性驅動語言生成，缺乏對世界知識的結構化表征與因果推理能力，無法對生成內容進行驗證、糾錯或自我否定，難以實現真正的認知躍遷?！?/p>

此外，他還強調了未來可能存在的風險。不可否認的是，AI正在展現出自我改進的潛力，每代的智能體都推動著下一代的演進。

隨著AI能力越來越強，一旦AI主導了架構設計以及訓練流程，在訓練時候扮演主導的角色，其發(fā)展會加速演化，或超出人類預測與控制的邊界。

可以看到，不管是Hinton從人類與AI的長遠共存出發(fā)，警示著技術狂奔背后的生存挑戰(zhàn)與全球協同治理的迫切性；還是鄭南寧院士扎根當下，直指幻覺這一技術痛點對AI可靠性的制約，以及其背后大模型認知邏輯的深層局限，都向我們敲響了AI自我演進可能失控的警鐘。

前段時間，科技圈一篇重磅論文引發(fā)關注。

OpenAI谷歌Anthropic罕見聯手帶頭發(fā)研究。來自40余位頂尖機構的合著者，包含圖靈獎得主YoshuaBengio、OpenAI首席研究員MarkChen、OpenAI首席科學家JakubPachocki、谷歌DeepMind聯合創(chuàng)始人ShaneLegg也在內，共同探討了AI安全議題。

他們將目光瞄準在了思維鏈CoT，新方法CoT監(jiān)測為前沿AI的安全措施提供了寶貴的補充，同時也讓我們了解到AIAgent如何做出決策。

雖然維度不同視角不同，他們卻共同指向了同一個核心命題：

當AI的能力邊界持續(xù)拓展，如何在釋放其效能的同時，馴服“幻覺”等技術頑疾、筑牢安全防線，既是當下行業(yè)突破的關鍵，更是決定人類與AI能否良性共生的長遠考題。

這一核心命題之下，其實勾勒出AI技術演進的雙重路徑：短期需攻克幻覺等可靠性難題，長期需建立可持續(xù)的信任機制。

這兩條線索的交匯點，正是“可信AI”——唯有讓技術在可控性、準確性、安全性上形成閉環(huán)，AI才能真正穿透實驗室的邊界，滲透到醫(yī)療、工業(yè)、政務等全場景肌理之中。

當AIAgent逐漸演進成為生產力工具，當具身智能開始落地在千行百業(yè)，可信已不僅是技術參數，更是數字時代的“生存許可證”，保障大模型產業(yè)落地應用的可靠性。

巧的是，此次同樣將幻覺作為核心突破點的訊飛X1升級版，正好為這一論斷添上了強有力的佐證。

訊飛星火X1升級版：幻覺治理取得顯著進步

當前大模型產業(yè)面臨三大共性難題：復雜任務訓練效率低下、高質量數據供給不足、幻覺問題阻礙可信落地。此次訊飛星火X1的三大技術創(chuàng)新——強化學習、數據反寫以及幻覺治理技術，恰好是針對這些痛點的系統(tǒng)性突破。

強化學習技術，傳統(tǒng)RLHF依賴單一標量獎勵，如同僅用考試總分指導學習，學生無法知曉具體錯題步驟。在數學推理、醫(yī)療診斷等需要多步邏輯的場景中，獎勵信號稀疏導致模型收斂緩慢、效果受限。教育領域解題輔導常出現“結果正確但過程混亂”，醫(yī)療診斷模型則難以追溯錯誤決策鏈。

訊飛提出了“評語模型+細粒度反饋”相結合的強化學習框架。文本級評語信號，將“總分制”改為“批注式”，為每個推理步驟生成自然語言評析，在回復各步驟（比如問題拆解、公式調用、結果計算等）提供細粒度獎勵，這有效降低了任務訓練難度，解決獎勵稀疏痛點。

數據反寫技術。數據作為AI的關鍵燃料，頭部企業(yè)可能耗費千萬級資金來獲取高質量數據集，而中小企業(yè)受困于數據匱乏。

此次他們提出了專家數據驅動的數據反寫引擎，它可以實現通用認知任務泛化、文本風格文筆順滑遷移，這樣極大緩解了SFT高質量數據獲取困難、人工標注數據成本過高等問題。

再者就是幻覺治理方面，他們提出了多路徑采樣驗證及事實性約束強化學習的幻覺治理技術。

在大模型思考過程及回復生成階段實現客觀問題上與標準答案的深度強對齊，這種「硬約束」大幅減少了在慢思考下的幻覺率，有效保障了文本摘要、RAG等任務的回復可靠性。

星火X1升級后，在幻覺治理方面領先業(yè)界主流模型。

跟往常慣例一樣，訊飛星火每一次升級，都有顯著的能力躍遷。

其中綜合能力有大幅提升，整體效果對標OpenAIo3等國內外一流大模型最新版本效果，在翻譯、推理、文本生成、數學等方面保持領先。

像今年挑戰(zhàn)高考數學一卷，星火X1-0420版本突破了140分。本次升級，數學能力再次提升，如今再挑戰(zhàn)數學題，即便是最后一道難住不少人類和大模型的題，星火X1-0720版本可以完整答對~

還有多語言能力這次也很驚艷，目前已覆蓋130+語種，包括了像泰語、菲律賓語、老撾語、俄語、日語、法語、阿拉伯語、越南語、西班牙語、葡萄牙語、德語、印尼語、馬來語、緬甸語等都可以支持，不管是日常問答、解數學題、寫文章還是翻譯，都能搞定。

而基于星火X1底座的語音同傳大模型也在翻譯效果、實時響應、語音聽感、專業(yè)精深等方面大幅躍升，持續(xù)行業(yè)領先，并且具備語種免切換能力。

目前在訊飛同傳會議服務、訊飛翻譯機、訊飛AI錄音筆這些智能設備都有升級了哦。

Bytheway，此次Hinton演講背后的AI同傳，背后也是星火支持的。

我們知道，“能用”和“好用”之間，差的是技術深度與落地廣度。

當用技術將系統(tǒng)級難題解決了，才能提升全場景應用的可靠性。此次在教育、醫(yī)療、企業(yè)應用、代碼、科研等行業(yè)，模型在解決復雜任務的能力都有很大的升級。

比如在教育層面，用于個性化教與學全場景的作業(yè)批改、個性化推薦、答疑輔學、科普問答、口語學習等各項能力顯著提升，持續(xù)保持業(yè)界領先，推動應用成效顯著提升。

醫(yī)療方面，在全科輔助診斷、體檢報告解讀、健康咨詢等通用醫(yī)療任務上持續(xù)保持業(yè)界大幅領先。

星火醫(yī)療大模型與三甲醫(yī)院主治醫(yī)師進行了雙盲對比評測，結果表明星火醫(yī)療大模型在心血管內科、兒科、呼吸內科三個科室的綜合診療能力總體達到三甲醫(yī)院主治醫(yī)師水平。模型給出的病因分析及診斷推薦在準確性和專業(yè)性上已經超過主治醫(yī)師水平，同時在可讀性和完整性方面具有明顯優(yōu)勢，在實際應用中可增強患者對診療建議的依從性。

而在面臨場景業(yè)務更復雜的企業(yè)側，代碼是一個典型場景。

基于訊飛星火X1的星火代碼大模型，有效提升了項目級代碼理解與生成、單元測試智能體、WEB應用對話式編程等核心任務表現。

目前，星火代碼大模型已深度賦能金融、制造、能源、科技等100余家關鍵領域客戶，在典型應用場景中驅動研發(fā)效率提升超過50%，助力企業(yè)在數字時代贏得競爭新優(yōu)勢。

此外，開發(fā)者這一端訊飛也照顧到了，星火Agent平臺依托全開放架構，整合16000+個MCP工具，成為“效果最佳、工具最全、服務最優(yōu)”的生產級智能體平臺。其中還提供了Prompt對比調優(yōu)和和全鏈路測評功能，讓開發(fā)者輕松搭建智能體應用。

星火X1最新升級的能力可直接在訊飛星火網頁版和APP進行體驗，全新API已同步上線訊飛開放平臺。

從事實性與忠實性幻覺的雙重改善，到數學推理、醫(yī)療診斷等垂直場景的精準落地，訊飛星火X1作為產業(yè)界的代表性成果，正好就是對「可信AI」這一命題的有力回應：可信AI的發(fā)展，保障全場景的產業(yè)落地。

可信AI的發(fā)展保障全場景的產業(yè)落地

說回到今年WAIC，今年確實很熱鬧，外國人不少，票很早就已售罄，Hinton首次來中國就將WAIC作為自己的首秀。

一邊感慨中國AI產業(yè)發(fā)展如此繁榮，滿眼都是Agent、各種具身智能和智能終端；一邊又覺得越是這樣，背后底層技術的發(fā)展越不能忽略。

幻覺之所以反復被提及，本質上是AI從“技術探索”邁向“全場景滲透”的必經考驗。

訊飛星火X1用實際效果證明：當模型能自我校驗、數據能精準反哺、系統(tǒng)能動態(tài)優(yōu)化，可信AI就能從概念變?yōu)楝F實，進而穿透教育、醫(yī)療、制造、跨境服務等千行百業(yè)的場景壁壘。

歸根結底，AI的全場景落地，從來不是單純的能力擴張，而是“能力與可信”的平衡進階。

當學界構建安全治理框架、產業(yè)界攻克幻覺等技術頑疾，當每一次模型升級都以“更可靠”為標尺，可信AI才能真正成為激活全場景價值的核心引擎。

「幻覺」成為今年WAIC首個熱議詞也就不意外了。好了，這次在WAIC上感受下來，你認為的關鍵詞是什么？歡迎在評論與我們分享你的體驗。

(完)一向討厭她的三嬸,她煮了兩個雞蛋,原來是要拋棄她了

沒多久，就看到一扇鏤空雕刻的半身高木門，兩人矮著身進去了，里面又是一番天地，像是去到了祿瓊殿一個再普通不過的閣樓，只是屋子的擺設很少，中間一個圓形的池子，散發(fā)著暖氣，十八個形態(tài)各異的小瓶子呈現不同的顏色，圍著池子繞了一圈|——。正中間稍高的臺面卻擺著一個透明的空瓶——。兩人走近了，玉嬋這才發(fā)現，奇香是從水里面發(fā)出來的，這水有幫助請點贊——-。 」珣風眼中的欲火熄滅，取而代之的是暗淡無趣的掃興-。南澄帝君貪污軍餉，尊貴的長樂帝姬現在已經是罪臣之女，被珣風棄之如敝履，剛小產就軟禁在南天仙島_|。當然，這都是拜我所賜——。重云在御書房看折子，我在一旁給他夾核桃-——。他看累了，仰在椅子上，道：「你歇歇手，這種粗活就讓奴才去干。」長樂立馬低身小跑到此結束了？。

完結:一向討厭她的三嬸,她煮了兩個雞蛋,原來是要拋棄她了

“不知道帝君怎么想的?！蹦窍扇藬[擺手，兩人入了神殿，便不再交頭接耳_。凡間——玉嬋自小在幾個叔伯家里長大。她沒見過爹娘，幾個嬸嬸說她是羊生下的孩子，于是，別的小孩也總學著大人叫她羊仔|。不過她是有名字的，她的名字是大伯給她取的。她小時候最喜歡的人就是大伯，住在大伯家的幾年也是唯一不用東到此結束了？。
“不知道帝君怎么想的——?！蹦窍扇藬[擺手，兩人入了神殿，便不再交頭接耳。凡間——玉嬋自小在幾個叔伯家里長大——。她沒見過爹娘，幾個嬸嬸說她是羊生下的孩子，于是，別的小孩也總學著大人叫她羊仔-。不過她是有名字的，她的名字是大伯給她取的。她小時候最喜歡的人就是大伯，住在大伯家的幾年也是唯一不用東是什么。