近日，圖靈獎得主&美國紐約大學(xué)教授楊立昆（Yann LeCun）聯(lián)合美國斯坦福大學(xué)團隊打造出一款信息論框架，借此揭示了大模型和人類的一個根本差異：即兩者在平衡信息壓縮和語義意義上采用了截然不同的策略

（來源：資料圖）

對于加強人機對齊的 AI 的發(fā)展來說，研究團隊的本次觀察能夠為其指明重要方向。它意味著要實現(xiàn)更加接近人類認(rèn)知理解的 AI，就必須讓 AI 突破當(dāng)前以規(guī)模擴張和統(tǒng)計模式匹配為核心的范式。要想讓 AI“從 token 發(fā)展到思想”、打造真正具備理解能力和推理能力的系統(tǒng)，需要遵循能夠培育更豐富、具備上下文感知能力的概念結(jié)構(gòu)的原則。

而研究團隊提出的信息論框架在此方向上邁出了可量化的一步。它將促使學(xué)界進(jìn)一步探索：大模型表面上的“低效性”或許恰恰正是構(gòu)建類人穩(wěn)健智能的關(guān)鍵特征。

研究團隊指出，盡管大模型在廣泛的類別對齊上與人類判斷一致，但是在捕捉典型性等細(xì)粒度語義細(xì)微差別方面表現(xiàn)不足，并且其表征效率特征與人類存在顯著差異。

其在論文中寫道，大模型似乎被進(jìn)行了高度優(yōu)化，以便能夠?qū)崿F(xiàn)統(tǒng)計緊湊性，這讓大模型形成了信息論意義上的高效表征，因為它們具有較低的簇熵和“更優(yōu)”的損失函數(shù)值。這表明大模型傾向于最小化冗余，以及傾向于最大化統(tǒng)計規(guī)律性，而這可能是它們在大型文本語料庫上訓(xùn)練的結(jié)果。

然而，這種對于平衡信息壓縮的強烈關(guān)注，限制了大模型完整地編碼基于原型的豐富語義細(xì)節(jié)的能力，而這些細(xì)節(jié)正是大模型實現(xiàn)類人深度理解的關(guān)鍵所在。

人類認(rèn)知會優(yōu)先考慮適應(yīng)性的豐富度（adaptive richness）、情境靈活性（contextual flexibility）和廣泛的功能實用性（盡管按照本次提出的框架來衡量的話，這會在統(tǒng)計緊湊性方面付出一定代價）。

研究團隊認(rèn)為，他們針對人類概念所觀察到的高熵和損失函數(shù)值，很可能反映了人類認(rèn)知系統(tǒng)針對更廣泛復(fù)雜認(rèn)知需求的一種優(yōu)化。這些需求包括：為實現(xiàn)穩(wěn)健泛化而形成的細(xì)微表征；支持強大的推理能力比如因果推理、功能推理和目標(biāo)導(dǎo)向推理；通過可學(xué)習(xí)和可共享的結(jié)構(gòu)實現(xiàn)有效溝通，并將概念錨定于豐富的多模態(tài)體驗中。

其指出，大腦的神經(jīng)結(jié)構(gòu)本身可能天生傾向于分布式、上下文敏感且適應(yīng)性強的表征，而非傾向于靜態(tài)的最優(yōu)壓縮。因此，人類認(rèn)知似乎會天然地“投資”于本次研究團隊統(tǒng)計指標(biāo)中所認(rèn)為的“低效性”，以便換取更強的適應(yīng)性和靈活性。

在特定的對齊任務(wù)之中，谷歌公司的 BERT 這樣的小型編碼器模型有著出色表現(xiàn)，這表明模型架構(gòu)設(shè)計和預(yù)訓(xùn)練目標(biāo)會顯著影響大模型抽象出類人概念信息的能力。

本質(zhì)上，大模型擅長統(tǒng)計可壓縮性，它走的是一條與人類認(rèn)知截然不同的表征道路。而人類認(rèn)知更加注重適應(yīng)性的豐富度和功能實用性，并且人類往往將這些置于純粹的統(tǒng)計效率之上。這一核心差異至關(guān)重要，因為它突顯了 AI 在追求類人理解方面的當(dāng)前局限性，從而能為后續(xù)研究指明關(guān)鍵方向。

圖 | 相關(guān)論文（來源：arXiv）

大模型中的意義之謎

據(jù)了解，人類通過語義壓縮將多樣實例映射為抽象表征，在保持意義完整的同時將知識組織為緊湊的類別體系，例如知更鳥和藍(lán)松鴉都屬于鳥類，大多數(shù)鳥類都會飛等等，這些概念反映了表達(dá)保真度與表征簡潔性之間的權(quán)衡。

盡管大模型展現(xiàn)出了卓越的語言能力，但是人們依然不清楚它們的內(nèi)部表示是否在壓縮效率與語義保真之間達(dá)成了類似于人類的權(quán)衡。

率失真理論（RDT，Rate-Distortion Theory）是信息論的核心分支之一，用于研究在允許一定失真的條件下信息壓縮的極限效率。信息瓶頸原理（IB，Information Bottleneck Principle）是信息論與機器學(xué)習(xí)交叉領(lǐng)域的核心理論，用于揭示智能系統(tǒng)在信息處理中的本質(zhì)權(quán)衡。

在本次研究之中，研究團隊基于率失真理論與信息瓶頸原理，構(gòu)建了一個全新的信息論框架，以用于量化和比較上述兩種認(rèn)知策略。

研究中，研究團隊將多種大模型的 token 嵌入與經(jīng)典的人類分類基準(zhǔn)進(jìn)行比較分析，借此發(fā)現(xiàn)了若干關(guān)鍵差異。

具體來說，雖然大模型形成了與人類判斷相一致的廣泛概念類別，但它們很難捕捉到對人類理解至關(guān)重要的細(xì)粒度語義區(qū)別。

從更根本的層面看，大模型展現(xiàn)出對激進(jìn)的統(tǒng)計壓縮的強烈偏好，而人類的概念系統(tǒng)似乎更重視適應(yīng)性的細(xì)膩差別與語境的豐富性，即便這在研究團隊的衡量標(biāo)準(zhǔn)下意味著較低的壓縮效率。

據(jù)介紹，人類語言結(jié)構(gòu)所定義的范疇可能會因語言而異，但它們都被映射到一個共同的概念空間中。這一概念空間代表了人類共同的認(rèn)知遺產(chǎn)，它實際上也構(gòu)成了人類心智的認(rèn)知版圖。

人類形成概念的能力，也是智能的基石。基于此，人類能夠從復(fù)雜信號中提取意義，以便應(yīng)對信息過載。具體來說，人類通過識別關(guān)鍵特征、并將體驗壓縮為認(rèn)知上可處理的信息摘要來實現(xiàn)了這一能力。

人類的概念架構(gòu)通常呈現(xiàn)出層級化的特征，這在本質(zhì)上是一種高效的語義壓縮機制：它能將多樣實例映射為緊湊表征，同時保留核心語義關(guān)系。同時，這一過程能在表征效率與關(guān)鍵語義保真度的保留之間取得平衡，而這種權(quán)衡是人類學(xué)習(xí)事物和理解事物的核心。

大模型在處理和生成人類語言方面表現(xiàn)出驚人的能力，能夠執(zhí)行許多看似需要深度語義理解的任務(wù)。然而，一個根本性謎題始終未解：大模型是否真正能像人類一樣理解概念和意義？還是說它們的成功主要源于對海量數(shù)據(jù)集進(jìn)行復(fù)雜的統(tǒng)計模式匹配？

鑒于人類能夠輕松地將大量輸入提煉為緊湊且有意義的概念，而這一過程由信息壓縮與語義保真度之間的內(nèi)在權(quán)衡所主導(dǎo)，因此揭開上述謎題就顯得尤為重要。

作為人類認(rèn)知的思維支架，概念系統(tǒng)能夠?qū)崿F(xiàn)高效信息解析、稀疏數(shù)據(jù)泛化以及豐富語義交流。為了讓大模型超越表層模仿從而實現(xiàn)更加接近人類的理解，關(guān)鍵在于要研究它們的內(nèi)部表示如何在信息壓縮與語義保留之間做出權(quán)衡。

那么，大模型究竟是發(fā)展出了與人類思維的效率和豐富性相媲美的概念結(jié)構(gòu)？還是采用了根本不同的表征策略？

為了解決這個問題，研究團隊引入了一種基于信息論的新型定量方法。他們開發(fā)并應(yīng)用了一個基于率失真理論和信息瓶頸原理的框架，系統(tǒng)地比較了大模型和人類概念結(jié)構(gòu)如何在表征復(fù)雜性和語義保真度之間取得平衡。

需要說明的是，研究團隊采用認(rèn)知心理學(xué)領(lǐng)域的經(jīng)典數(shù)據(jù)集來刻畫人類的分類行為，并以此作為關(guān)鍵的人類認(rèn)知基準(zhǔn)。與此同時，他們針對這些經(jīng)典數(shù)據(jù)集進(jìn)行數(shù)字化處理并公開發(fā)布。

而研究團隊所提出的框架專門用于剖析這些不同系統(tǒng)如何在壓縮與語義之間權(quán)衡。通過針對多種大模型的比較分析，其揭示了它們在表征策略上的差異。

盡管大模型通常能夠形成與人類判斷相符的寬泛概念類別，但它們往往無法捕捉對人類理解至關(guān)重要的細(xì)粒度語義差異。

更為關(guān)鍵的是，研究團隊發(fā)現(xiàn)了一種明顯的優(yōu)先級差異：即大模型傾向于強烈而激進(jìn)的統(tǒng)計壓縮，而人類更偏好適應(yīng)性的細(xì)膩差別和語境的豐富性——即便這可能會以犧牲純粹的壓縮效率為代價。

這種分歧突顯了人類與 AI 的根本差異，并為開發(fā)具有更人性化概念理解的 AI 指明了方向。

以人類認(rèn)知為基準(zhǔn)

研究團隊表示，從實證角度研究大模型表征與人類概念結(jié)構(gòu)之間的關(guān)系需要兩個關(guān)鍵要素：可靠的人類分類基準(zhǔn)和多樣化的大模型選擇。

本次工作中的比較研究，以認(rèn)知心理學(xué)經(jīng)典研究中關(guān)于人類分類過程的實證數(shù)據(jù)為基準(zhǔn)。后者為人類如何形成概念、判斷類別歸屬以及感知典型性提供了豐富的實證證據(jù)。

與許多可能存在噪聲的現(xiàn)代眾包數(shù)據(jù)集不同的是，這些經(jīng)典基準(zhǔn)由認(rèn)知科學(xué)專家精心設(shè)計，反映的是深層的認(rèn)知模式而非表面關(guān)聯(lián)的認(rèn)知模式，且根植于當(dāng)時蓬勃發(fā)展的概念結(jié)構(gòu)理論。

具體來說，研究團隊重點選取了上個世紀(jì)的以下三項開創(chuàng)性研究：

1973 年，美國加州大學(xué)伯克利分校教授埃莉諾·羅施（Eleanor Rosch）針對語義范疇進(jìn)行了探索。該成果認(rèn)為，范疇是圍繞著“原型”成員、而非圍繞嚴(yán)格且平等共享的特征來組織的。相關(guān)數(shù)據(jù)集涵蓋了 8 個常見語義范疇中的 48 個項目比如家具和鳥類，這些項目還被進(jìn)行了原型性排名，例如知更鳥是典型的鳥類，而蝙蝠則是不典型的鳥類（它實際上是哺乳動物）。

1975 年，埃莉諾·羅施（Eleanor Rosch）進(jìn)一步詳述了語義范疇在認(rèn)知中的表征方式，針對十個范疇中的 552 個項目提供了廣泛的典型性評級，例如橙子是典型的水果，南瓜則是典型性較低的水果（實際上在日常生活中南瓜主要被作為蔬菜食用）。

（來源：https://psychology.berkeley.edu/people/eleanor-h）

1978 年，美國約翰霍普金斯大學(xué)教授邁克爾?麥克洛斯基（Michael McCloskey）與美國普林斯頓大學(xué)山姆·格拉克斯伯格（Sam Glucksberg）研究了自然類別的“模糊”邊界，表明類別歸屬通常是漸進(jìn)分級的而非絕對的。相關(guān)數(shù)據(jù)集涵蓋 18 個類別中的 449 個項目，包含典型性評分和類別歸屬確定性評級。例如，連衣裙是典型的衣物，而創(chuàng)可貼的典型性則比較低。

（來源：https://cogsci.jhu.edu/directory/michael-mccloskey/）

盡管這些數(shù)據(jù)集源自不同的研究團隊、且理論側(cè)重點各不相同，但它們均采用了嚴(yán)謹(jǐn)?shù)膶嶒炘O(shè)計，并提供了關(guān)于類別歸屬和項目典型性的數(shù)據(jù)。基于此，本次研究團隊整合了這些研究的數(shù)據(jù)，創(chuàng)建了一個涵蓋 34 個類別、1049 個項目的統(tǒng)一基準(zhǔn)。目前，研究團隊已將該數(shù)據(jù)集進(jìn)行數(shù)字化和開源。

（來源：arXiv）

所選模型涵蓋當(dāng)前主流架構(gòu)范式

在本次研究之中，研究團隊納入了多種類型的大模型，以便評估概念表征如何隨計算架構(gòu)和規(guī)模的不同而變化。

這一選定的模型涵蓋了當(dāng)前主流的架構(gòu)范式，并覆蓋了從 3 億到 720 億參數(shù)的廣泛規(guī)模區(qū)間。所采用的大模型大多數(shù)是僅解碼器自回歸模型，包括：

• 6 個 Llama 系列模型（參數(shù)規(guī)模從 10 億到 700 億，如 Llama 3.1 700 億參數(shù)模型）；
• 5 個 Gemma 系列模型（20 億到 270 億參數(shù)）；
• 13 個 Qwen 系列模型（5 億到 720 億參數(shù)）；
• 4 個 Phi 系列模型（如 Phi-4）；
• 1 個 Mistral 70 億參數(shù)模型。

在相關(guān)分析之中，研究團隊主要采用 BERT 系列中的純編碼器架構(gòu)模型。對于每個大模型，研究團隊從其輸入嵌入層中提取靜態(tài)的 token 級嵌入。這一選擇使得他們的分析與人類分類實驗中典型的無上下文刺激特征相契合，從而確保了表征基礎(chǔ)的可比性。

（來源：arXiv）

總的來說，為了解析大模型與人類認(rèn)知如何應(yīng)對“意義表征”這一根本性挑戰(zhàn)，研究團隊構(gòu)建了一個信息論分析框架。其表示，他們所提出的信息論框架和損失函數(shù)目標(biāo)，為指導(dǎo)和評估模型實現(xiàn)更加類人的平衡能力提供了一種潛在工具。

對于認(rèn)知科學(xué)而言，大模型憑借其獨特的優(yōu)化偏向性，成為極具價值的計算參照樣本。通過對比大模型的操作策略與人類表現(xiàn)，能夠揭示塑造人類概念形成的獨特約束條件和多維目標(biāo)，從而為檢驗認(rèn)知理論提供強有力的實驗平臺。

這些發(fā)現(xiàn)闡明了當(dāng)前 AI 和人類認(rèn)知結(jié)構(gòu)之間的關(guān)鍵差異，并為構(gòu)建更符合人類概念表征的大模型指明了方向。研究團隊在論文中表示，學(xué)界的相關(guān)后續(xù)研究應(yīng)著力探索能夠主動培育更豐富、更具語義細(xì)微差別的概念結(jié)構(gòu)的設(shè)計原則。

參考資料：

https://arxiv.org/pdf/2505.17117

排版：溪樹