當(dāng)我們讀到“蘋(píng)果”“香蕉”“西瓜”這些詞，雖然顏色不同、形狀不同、味道也不同，但仍會(huì)下意識(shí)地歸為“水果”。

哪怕是第一次見(jiàn)到“火龍果”這個(gè)詞，也能憑借語(yǔ)義線索判斷它大概也是一種水果。

這種能力被稱(chēng)為語(yǔ)義壓縮，它讓我們能夠高效地組織知識(shí)、迅速地對(duì)世界進(jìn)行分類(lèi)。

那問(wèn)題來(lái)了：大型語(yǔ)言模型（LLM）雖然語(yǔ)言能力驚人，但它們?cè)谡Z(yǔ)義壓縮方面能做出和人類(lèi)一樣的權(quán)衡嗎？

為探討這一問(wèn)題，圖靈獎(jiǎng)得主LeCun團(tuán)隊(duì)，提出了一種全新的信息論框架。

該框架通過(guò)對(duì)比人類(lèi)與LLM在語(yǔ)義壓縮中的策略，揭示了兩者在壓縮效率與語(yǔ)義保真之間的根本差異：

LLM偏向極致的統(tǒng)計(jì)壓縮，而人類(lèi)更重細(xì)節(jié)與語(yǔ)境。

語(yǔ)義壓縮對(duì)比框架

要實(shí)證性地研究LLM的表征方式與人類(lèi)概念結(jié)構(gòu)之間的關(guān)系，需要兩個(gè)關(guān)鍵要素：

穩(wěn)健的人類(lèi)概念分類(lèi)基準(zhǔn)

研究團(tuán)隊(duì)基于認(rèn)知科學(xué)中的三項(xiàng)經(jīng)典研究（Rosch1973、1975和McCloskeyGlucksberg1978），構(gòu)建了一個(gè)涵蓋1049個(gè)項(xiàng)目、34個(gè)語(yǔ)義類(lèi)別的統(tǒng)一基準(zhǔn)。

這些數(shù)據(jù)不僅提供了類(lèi)別歸屬信息，還包含人類(lèi)對(duì)各項(xiàng)目“典型性”的評(píng)分，反映了人類(lèi)認(rèn)知中概念形成的深層結(jié)構(gòu)。

相比現(xiàn)代眾包數(shù)據(jù)，這些經(jīng)過(guò)專(zhuān)家嚴(yán)格設(shè)計(jì)的數(shù)據(jù)集更具可信度與解釋力，為L(zhǎng)LM的類(lèi)人性評(píng)估提供了高保真的比較基礎(chǔ)。

多樣化的LLM模型選擇

為全面評(píng)估不同大型語(yǔ)言模型在概念表征上的差異，研究團(tuán)隊(duì)選取了30+LLMs（BERT、LlamA、Gemma、Qwen等），參數(shù)規(guī)模從3億到720億不等。

所有模型均從輸入嵌入層提取靜態(tài)詞元表示，以貼近人類(lèi)分類(lèi)實(shí)驗(yàn)中“去上下文”的刺激方式，確保模型和人類(lèi)的認(rèn)知基準(zhǔn)保持一致，便于公平比較。

為分析LLM與人類(lèi)在表達(dá)和組織語(yǔ)義信息時(shí)的差異，研究引入了一個(gè)信息論框架。

該框架借鑒了兩大經(jīng)典信息論原理：

速率失真理論：描述壓縮效率與信息失真之間的最優(yōu)權(quán)衡；

信息瓶頸原理：關(guān)注在壓縮表示的同時(shí)，最大程度保留與目標(biāo)相關(guān)的信息。

LLM與人類(lèi)在表征策略上的關(guān)鍵差異

研究發(fā)現(xiàn)，LLM的概念分類(lèi)結(jié)果與人類(lèi)語(yǔ)義分類(lèi)的對(duì)齊程度顯著高于隨機(jī)水平。

這一結(jié)果驗(yàn)證了LLM在語(yǔ)義組織方面的基本能力，并為后續(xù)更細(xì)粒度的語(yǔ)義結(jié)構(gòu)對(duì)比奠定了基礎(chǔ)。

但是大型語(yǔ)言模型真的理解細(xì)節(jié)嗎？

答案是：LLM難以處理細(xì)粒度的語(yǔ)義差異。它們的內(nèi)部概念結(jié)構(gòu)與人類(lèi)對(duì)類(lèi)別歸屬的直覺(jué)不相符。

人類(lèi)典型性判斷與LLM余弦相似度之間的斯皮爾曼相關(guān)系數(shù)較弱且大多數(shù)不顯著，表明兩者在概念表征結(jié)構(gòu)上存在差異。

那LLM和人類(lèi)在信息壓縮與語(yǔ)義保真上存在哪些關(guān)鍵差異呢？

LLM側(cè)重于統(tǒng)計(jì)壓縮，力求最大程度地減少冗余信息；而人類(lèi)則更注重適應(yīng)性和豐富性，強(qiáng)調(diào)保持靈活性和上下文的完整性。

研究團(tuán)隊(duì)

這項(xiàng)研究由斯坦福大學(xué)與紐約大學(xué)聯(lián)合開(kāi)展，團(tuán)隊(duì)成員均來(lái)自這兩所高校。

其中，第一作者為斯坦福大學(xué)博士后研究員ChenShani。

更讓網(wǎng)友震驚的的是，YannLeCun也為此研究的作者之一。

YannLeCun是當(dāng)今人工智能領(lǐng)域最具影響力的科學(xué)家之一，現(xiàn)任Meta（原Facebook）首席人工智能科學(xué)家，同時(shí)也是紐約大學(xué)教授。

LeCun早在1980年代便開(kāi)始研究神經(jīng)網(wǎng)絡(luò)，最著名的貢獻(xiàn)是提出了卷積神經(jīng)網(wǎng)絡(luò)（CNN）的核心架構(gòu)——LeNet-5，用于手寫(xiě)數(shù)字識(shí)別。

該網(wǎng)絡(luò)是現(xiàn)代深度學(xué)習(xí)模型的雛形，為后續(xù)圖像識(shí)別和計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展奠定了堅(jiān)實(shí)基礎(chǔ)。

他與GeoffreyHinton、YoshuaBengio被譽(yù)為“深度學(xué)習(xí)三巨頭”，共同推動(dòng)了深度學(xué)習(xí)的理論與應(yīng)用突破。

2018年，三人因在深度學(xué)習(xí)領(lǐng)域的杰出貢獻(xiàn)，榮獲了計(jì)算機(jī)科學(xué)領(lǐng)域的最高獎(jiǎng)項(xiàng)——圖靈獎(jiǎng)。

除了技術(shù)創(chuàng)新，LeCun還積極推動(dòng)深度學(xué)習(xí)技術(shù)在工業(yè)界的應(yīng)用，尤其是在Meta，領(lǐng)導(dǎo)團(tuán)隊(duì)將人工智能技術(shù)應(yīng)用于大規(guī)模系統(tǒng)。

他同時(shí)是自監(jiān)督學(xué)習(xí)的積極倡導(dǎo)者，認(rèn)為這是實(shí)現(xiàn)通用人工智能（AGI）的關(guān)鍵路徑之一。

可以說(shuō)，LeCun的研究對(duì)人工智能技術(shù)的演進(jìn)產(chǎn)生了重要影響。

論文地址：https://arxiv.org/abs/2505.17117

參考鏈接：https://x.com/ziv_ravid/status/1928118800139841760

寵物友好生活的全新探索與樂(lè)趣源泉!

除了寵物友好空間的標(biāo)記，考骨地圖還有一項(xiàng)超有趣的功能——電子狗狗養(yǎng)成-。在這里，你可以挑選超多可愛(ài)的狗狗，擁有各種萌態(tài)可掬的像素小狗。你可以自由設(shè)定它們的性別、性格和年齡，打造屬于你的專(zhuān)屬毛孩子。而且，你還能帶著它四處遛彎撿骨頭，就像真的在照顧一只小狗一樣-。電子狗狗每天都會(huì)消耗骨頭狗糧，這種真實(shí)的養(yǎng)成體驗(yàn)讓你仿佛真 為了讓旅途更加萬(wàn)無(wú)一失，星太奇早就準(zhǔn)備好了地圖，奮豆則化身“考骨專(zhuān)家”為大家的路途出謀劃策，尋寶遇到的危險(xiǎn)數(shù)不勝數(shù)，但還好他們并非毫無(wú)收獲，甚至意外碰到了很多來(lái)自于“二次元”的老熟人，整個(gè)探險(xiǎn)尋寶的過(guò)程充滿歡樂(lè)，其實(shí)同學(xué)們的探索精神至關(guān)重要，只要你刻苦鉆研課本的知識(shí)，那么學(xué)習(xí)成績(jī)的提升也會(huì)是水等會(huì)說(shuō)。