許志峰
當(dāng)我們讀到“蘋果”“香蕉”“西瓜”這些詞,雖然顏色不同、形狀不同、味道也不同,但仍會下意識地歸為“水果”。
哪怕是第一次見到“火龍果”這個詞,也能憑借語義線索判斷它大概也是一種水果。
這種能力被稱為語義壓縮,它讓我們能夠高效地組織知識、迅速地對世界進(jìn)行分類。
那問題來了:大型語言模型(LLM)雖然語言能力驚人,但它們在語義壓縮方面能做出和人類一樣的權(quán)衡嗎?
為探討這一問題,圖靈獎得主LeCun團(tuán)隊(duì),提出了一種全新的信息論框架。
該框架通過對比人類與LLM在語義壓縮中的策略,揭示了兩者在壓縮效率與語義保真之間的根本差異:
LLM偏向極致的統(tǒng)計(jì)壓縮,而人類更重細(xì)節(jié)與語境。
語義壓縮對比框架
要實(shí)證性地研究LLM的表征方式與人類概念結(jié)構(gòu)之間的關(guān)系,需要兩個關(guān)鍵要素:
穩(wěn)健的人類概念分類基準(zhǔn)
研究團(tuán)隊(duì)基于認(rèn)知科學(xué)中的三項(xiàng)經(jīng)典研究(Rosch1973、1975和McCloskeyGlucksberg1978),構(gòu)建了一個涵蓋1049個項(xiàng)目、34個語義類別的統(tǒng)一基準(zhǔn)。
這些數(shù)據(jù)不僅提供了類別歸屬信息,還包含人類對各項(xiàng)目“典型性”的評分,反映了人類認(rèn)知中概念形成的深層結(jié)構(gòu)。
相比現(xiàn)代眾包數(shù)據(jù),這些經(jīng)過專家嚴(yán)格設(shè)計(jì)的數(shù)據(jù)集更具可信度與解釋力,為LLM的類人性評估提供了高保真的比較基礎(chǔ)。
多樣化的LLM模型選擇
為全面評估不同大型語言模型在概念表征上的差異,研究團(tuán)隊(duì)選取了30+LLMs(BERT、LlamA、Gemma、Qwen等),參數(shù)規(guī)模從3億到720億不等。
所有模型均從輸入嵌入層提取靜態(tài)詞元表示,以貼近人類分類實(shí)驗(yàn)中“去上下文”的刺激方式,確保模型和人類的認(rèn)知基準(zhǔn)保持一致,便于公平比較。
為分析LLM與人類在表達(dá)和組織語義信息時(shí)的差異,研究引入了一個信息論框架。
該框架借鑒了兩大經(jīng)典信息論原理:
速率失真理論:描述壓縮效率與信息失真之間的最優(yōu)權(quán)衡;
信息瓶頸原理:關(guān)注在壓縮表示的同時(shí),最大程度保留與目標(biāo)相關(guān)的信息。
LLM與人類在表征策略上的關(guān)鍵差異
研究發(fā)現(xiàn),LLM的概念分類結(jié)果與人類語義分類的對齊程度顯著高于隨機(jī)水平。
這一結(jié)果驗(yàn)證了LLM在語義組織方面的基本能力,并為后續(xù)更細(xì)粒度的語義結(jié)構(gòu)對比奠定了基礎(chǔ)。
但是大型語言模型真的理解細(xì)節(jié)嗎?
答案是:LLM難以處理細(xì)粒度的語義差異。它們的內(nèi)部概念結(jié)構(gòu)與人類對類別歸屬的直覺不相符。
人類典型性判斷與LLM余弦相似度之間的斯皮爾曼相關(guān)系數(shù)較弱且大多數(shù)不顯著,表明兩者在概念表征結(jié)構(gòu)上存在差異。
那LLM和人類在信息壓縮與語義保真上存在哪些關(guān)鍵差異呢?
LLM側(cè)重于統(tǒng)計(jì)壓縮,力求最大程度地減少冗余信息;而人類則更注重適應(yīng)性和豐富性,強(qiáng)調(diào)保持靈活性和上下文的完整性。
研究團(tuán)隊(duì)
這項(xiàng)研究由斯坦福大學(xué)與紐約大學(xué)聯(lián)合開展,團(tuán)隊(duì)成員均來自這兩所高校。
其中,第一作者為斯坦福大學(xué)博士后研究員ChenShani。
更讓網(wǎng)友震驚的的是,YannLeCun也為此研究的作者之一。
YannLeCun是當(dāng)今人工智能領(lǐng)域最具影響力的科學(xué)家之一,現(xiàn)任Meta(原Facebook)首席人工智能科學(xué)家,同時(shí)也是紐約大學(xué)教授。
LeCun早在1980年代便開始研究神經(jīng)網(wǎng)絡(luò),最著名的貢獻(xiàn)是提出了卷積神經(jīng)網(wǎng)絡(luò)(CNN)的核心架構(gòu)——LeNet-5,用于手寫數(shù)字識別。
該網(wǎng)絡(luò)是現(xiàn)代深度學(xué)習(xí)模型的雛形,為后續(xù)圖像識別和計(jì)算機(jī)視覺技術(shù)的發(fā)展奠定了堅(jiān)實(shí)基礎(chǔ)。
他與GeoffreyHinton、YoshuaBengio被譽(yù)為“深度學(xué)習(xí)三巨頭”,共同推動了深度學(xué)習(xí)的理論與應(yīng)用突破。
2018年,三人因在深度學(xué)習(xí)領(lǐng)域的杰出貢獻(xiàn),榮獲了計(jì)算機(jī)科學(xué)領(lǐng)域的最高獎項(xiàng)——圖靈獎。
除了技術(shù)創(chuàng)新,LeCun還積極推動深度學(xué)習(xí)技術(shù)在工業(yè)界的應(yīng)用,尤其是在Meta,領(lǐng)導(dǎo)團(tuán)隊(duì)將人工智能技術(shù)應(yīng)用于大規(guī)模系統(tǒng)。
他同時(shí)是自監(jiān)督學(xué)習(xí)的積極倡導(dǎo)者,認(rèn)為這是實(shí)現(xiàn)通用人工智能(AGI)的關(guān)鍵路徑之一。
可以說,LeCun的研究對人工智能技術(shù)的演進(jìn)產(chǎn)生了重要影響。
論文地址:https://arxiv.org/abs/2505.17117
參考鏈接:https://x.com/ziv_ravid/status/1928118800139841760
熱門推薦的幾部網(wǎng)游生涯精彩小說
《詭秘之主》融入了克蘇魯神話和SCP基金會元素以及第一次工業(yè)革命的風(fēng)情中蒸汽朋克的情懷,如書蟲所說就是這樣一個充滿奇詭瑰麗的神秘世界讓讀者踏上網(wǎng)絡(luò)小說之旅。本書世界觀非常完整,神秘,冒險(xiǎn),海盜,超凡,神話等諸多元素被作者巧妙的融合在一起沒有一絲混亂之感。實(shí)乃世所罕見,強(qiáng)烈推薦!《曙光紀(jì)元》作為起點(diǎn)是什么。
讀者排行榜7級詳解,快來看你到哪一級了?
提供了未刪減版txt的下載鏈接,便捷獲取全書?!?主角特質(zhì)主角擁有超凡的悟性,能夠在短時(shí)間內(nèi)掌握并創(chuàng)造修煉法則-——。他穿梭于諸天之間,只為創(chuàng)立那至高無上的大道之法。憑借這一能力,主角不僅深入探索自身的潛能,更將道法傳遍諸天,為眾生賦予超凡入圣之機(jī)?!?世界觀特色諸天世界的多樣性令人嘆為觀止,有仙俠、..
斗羅大陸:可憐的千鈞蟻皇,不僅要被唐三吸收成為魂環(huán),還被黑了
品牌獨(dú)特魅力:掌閱(iReader)作為國內(nèi)領(lǐng)先的電子書閱讀器品牌,致力于為用戶提供超凡的閱讀體驗(yàn)-。憑借其先進(jìn)的技術(shù)研發(fā)和對用戶體驗(yàn)的重視,掌閱不僅豐富了數(shù)字閱讀的選擇,還不斷優(yōu)化產(chǎn)品性能————。無論是經(jīng)典的墨水屏技術(shù),還是人性化的設(shè)計(jì)理念,掌閱始終在推動著電子圖書的普及和發(fā)展,贏得了廣大書迷的青睞。卓越顯示是什么-。
來源:紅網(wǎng)
作者:庾秀麗
編輯:問彭丹
本文為紅辣椒評論 原創(chuàng)文章,僅系作者個人觀點(diǎn),不代表紅網(wǎng)立場。轉(zhuǎn)載請附原文出處鏈接和本聲明。