冠軍論文：人工蜂巢思維（華盛頓大學(xué)、卡內(nèi)基梅隆大學(xué)、艾倫研究所）：

還記得大家說(shuō)過(guò)只要對(duì)模型改變問(wèn)話語(yǔ)言或使用多個(gè)模型就能獲得多樣化的AI輸出嗎？錯(cuò)！

該團(tuán)隊(duì)測(cè)試了 70 多個(gè)語(yǔ)言模型，發(fā)現(xiàn)了一些令人不安的事情：它們都產(chǎn)生了驚人相似的響應(yīng)。

如果你問(wèn) ChatGPT、Claude 和 Gemini ，甚至國(guó)內(nèi)的Deepseek、豆包、千問(wèn)同一個(gè)創(chuàng)意問(wèn)題，你會(huì)得到一些圍繞同一主題的不同版本。

更糟糕的是，單個(gè)模型會(huì)不斷重復(fù)自身。研究人員稱之為“人工智能群體思維效應(yīng)”；人工智能讓一切聽起來(lái)都一樣。

重要性：如果你一直在使用人工智能進(jìn)行頭腦風(fēng)暴，并且感覺(jué)給出的建議越來(lái)越重復(fù)，那并非你的錯(cuò)覺(jué)。這個(gè)問(wèn)題比任何人想象的都要復(fù)雜，特別是問(wèn)DeepSeek，你再看看他的思維鏈內(nèi)容，你就會(huì)更有感受。解決它需要對(duì)模型的訓(xùn)練和評(píng)估方式進(jìn)行根本性的變革。

面向大型語(yǔ)言模型的門控注意力機(jī)制（來(lái)自阿里巴巴Qwen團(tuán)隊(duì)）：

阿里巴巴千問(wèn)研究團(tuán)隊(duì)發(fā)現(xiàn)，在注意力機(jī)制之后添加一個(gè)“門”（可以把它想象成一個(gè)智能過(guò)濾器）——一個(gè)小小的調(diào)整——就能讓 LLM 的性能持續(xù)提升。

他們針對(duì) 30 多個(gè)變體進(jìn)行了測(cè)試，模型參數(shù)高達(dá) 150 億。

最棒的是，它已經(jīng)在 Qwen3-Next 中發(fā)布了，而且代碼是開源的。

NeurIPS 評(píng)委表示，這將“被廣泛采用”，用學(xué)術(shù)術(shù)語(yǔ)來(lái)說(shuō)就是“每個(gè)人都會(huì)使用它”。

重要性：預(yù)計(jì)在未來(lái) 6-12 個(gè)月內(nèi)，這項(xiàng)技術(shù)將應(yīng)用于 GPT-5、Gemini 2.0 和其他下一代模型。您的 AI 對(duì)話將更加連貫，尤其是在較長(zhǎng)的聊天中。

用于自監(jiān)督強(qiáng)化學(xué)習(xí)的 1000 層網(wǎng)絡(luò)（來(lái)自巴黎文理研究大學(xué)）：

大多數(shù)強(qiáng)化學(xué)習(xí)模型使用 2-5 層。這些研究人員提出：如果我們深入更多層呢？

他們構(gòu)建了多達(dá) 1024 層的網(wǎng)絡(luò)，讓機(jī)器人學(xué)習(xí)在沒(méi)有任何人為指導(dǎo)的情況下實(shí)現(xiàn)目標(biāo)。

結(jié)果：性能提升 2-50 倍。事實(shí)證明，強(qiáng)化學(xué)習(xí)可以像語(yǔ)言模型一樣擴(kuò)展——你只需要有勇氣去嘗試。

重要性：這為自動(dòng)駕駛和機(jī)器人這類 Physical AI 最終在能力上趕上當(dāng)前的語(yǔ)言模型打開了大門。我們可以預(yù)見，未來(lái)將出現(xiàn)能力更強(qiáng)的機(jī)器人和人工智能代理，它們無(wú)需人類逐步指導(dǎo)即可學(xué)習(xí)復(fù)雜任務(wù)。

為什么擴(kuò)散模型Diffusion Models無(wú)法記憶（來(lái)自普林斯頓大學(xué)，華沙理工大學(xué)）：

人工智能圖像生成器使用數(shù)百萬(wàn)張圖像進(jìn)行訓(xùn)練。那么，為什么它們不能直接生成完全相同的副本呢？這篇論文從數(shù)學(xué)角度解釋了這個(gè)問(wèn)題。

訓(xùn)練過(guò)程中有兩個(gè)時(shí)間尺度：早期階段，模型學(xué)習(xí)創(chuàng)建良好的圖像；后期階段，模型開始記憶。

關(guān)鍵在于，記憶階段隨著數(shù)據(jù)集大小線性增長(zhǎng)，從而為在過(guò)擬合發(fā)生之前停止訓(xùn)練創(chuàng)造了一個(gè)最佳時(shí)機(jī)。

這就像這個(gè)模型內(nèi)置了一個(gè)鬧鐘，提醒你“在作弊之前停止學(xué)習(xí)”。

重要性：這解釋了為什么 Midjourney、DALL-E 和 Stable Diffusion 能夠生成全新的圖像，而不是復(fù)制訓(xùn)練數(shù)據(jù)。理解這種動(dòng)態(tài)過(guò)程將有助于構(gòu)建更好、更安全的生成模型。

亞軍論文：

強(qiáng)化學(xué)習(xí)真的能激勵(lì)推理嗎(來(lái)自leap lab 清華，上海交大)：

劇透：其實(shí)不然。該團(tuán)隊(duì)測(cè)試了強(qiáng)化學(xué)習(xí)訓(xùn)練是否真的在邏輯學(xué)習(xí)模型中創(chuàng)造了新的推理能力，還是僅僅優(yōu)化了基礎(chǔ)模型已經(jīng)知道的路徑。

答案：基礎(chǔ)模型的上限就是訓(xùn)練后模型的上限。強(qiáng)化學(xué)習(xí)使模型更有效地找到好的答案，但并沒(méi)有擴(kuò)展它們從根本上可以推理的內(nèi)容。

這就像教別人應(yīng)試技巧一樣——他們考試成績(jī)會(huì)更好，但他們實(shí)際上并沒(méi)有學(xué)到新知識(shí)。

重要性：這挑戰(zhàn)了目前圍繞強(qiáng)化學(xué)習(xí)高階思維（RLHF）和推理模型的炒作。如果你想要真正更智能的人工智能，你需要更好的基礎(chǔ)模型和訓(xùn)練數(shù)據(jù)，而不僅僅是對(duì)現(xiàn)有模型進(jìn)行更多的強(qiáng)化學(xué)習(xí)。

面向傳遞式在線學(xué)習(xí)的最優(yōu)錯(cuò)誤界限（肯特，普渡，以色列理工，谷歌）：

解決了一個(gè)存在了 30 年的理論問(wèn)題，即當(dāng)學(xué)習(xí)算法可以訪問(wèn)未標(biāo)記數(shù)據(jù)時(shí)，它會(huì)犯多少錯(cuò)誤。數(shù)學(xué)原理很復(fù)雜，

但結(jié)論是：未標(biāo)記數(shù)據(jù)比標(biāo)準(zhǔn)學(xué)習(xí)速度提升了二次方倍（平方根改進(jìn)）。那在理論上是一個(gè)巨大的勝利。

重要性：這為使用大量未標(biāo)記數(shù)據(jù)提供了理論支持，而這正是當(dāng)今基礎(chǔ)模型的動(dòng)力來(lái)源。

疊加原理可實(shí)現(xiàn)穩(wěn)健的神經(jīng)縮放（MIT麻省理工）：

終于解釋了為什么更大的模型效果更好。秘訣在于“疊加”，即模型能夠通過(guò)巧妙地打包信息來(lái)表示比其維度更多的特征。

當(dāng)模型強(qiáng)烈地表現(xiàn)出這種特性時(shí)，損失與數(shù)據(jù)規(guī)模成反比，幾乎適用于任何數(shù)據(jù)分布。

這印證了金吉拉體型比例定律，并解釋了為什么“越大越好”的趨勢(shì)能夠持續(xù)下去。

重要性：這解釋了為什么企業(yè)不斷構(gòu)建更大的模型，并驗(yàn)證了金吉拉規(guī)模定律。預(yù)計(jì)“越大越好”的趨勢(shì)在可預(yù)見的未來(lái)仍將持續(xù)。

2.NeurIPS 大會(huì)上還有：谷歌的內(nèi)存突破

雖然這些獎(jiǎng)項(xiàng)占據(jù)了各大媒體的頭條，但谷歌悄悄發(fā)布了可能改變游戲規(guī)則的研究成果：Titans 和 MIRAS，這兩種架構(gòu)賦予了人工智能模型真正的長(zhǎng)期記憶。

現(xiàn)有模型在處理上下文長(zhǎng)度時(shí)會(huì)遇到瓶頸。即使你給 Claude 或 GPT 輸入數(shù)百萬(wàn)個(gè)詞元，它們也很難真正記住并有效地利用所有這些信息。還有就是自動(dòng)駕駛的場(chǎng)景中，其實(shí)當(dāng)前的輔助駕駛的響應(yīng)都是即時(shí)響應(yīng)，并無(wú)法回顧和推理更長(zhǎng)的時(shí)間，例如15s以上，因?yàn)樾枰�更多的�?nèi)存和算力來(lái)應(yīng)對(duì)。

Titans 通過(guò)“驚喜度量”解決了這個(gè)問(wèn)題——本質(zhì)上就是教會(huì)人工智能像人類一樣記憶。

它的工作原理是這樣的：人類很容易忘記日�，嵤�，卻能記住令人驚訝的事件。

Titans 也是如此。在處理文本時(shí)，它會(huì)不斷地問(wèn)自己：“這條新信息與我已知的信息相比，是否令人驚訝？” 如果驚訝程度很高，就永久存儲(chǔ)；如果驚訝程度不高，就跳過(guò)。

例如：如果你正在閱讀一份財(cái)務(wù)報(bào)告，突然看到一句關(guān)于香蕉皮的話，這種巨大的意外信號(hào)會(huì)告訴模型“這很奇怪也很重要——記住它”。

但如果報(bào)告第十次提到“季度收益”，模型就會(huì)說(shuō)“知道了，繼續(xù)往下看”。

結(jié)果令人驚嘆：Titans 能夠處理超過(guò) 200 萬(wàn)個(gè)詞元上下文，并且在參數(shù)量遠(yuǎn)少于 GPT-4 的情況下，在超長(zhǎng)上下文任務(wù)上也表現(xiàn)出色。它兼具循環(huán)模型的速度和 Transformer 模型的準(zhǔn)確性。

重要性：目前的AI經(jīng)常會(huì)忘記上下文。讓Claude分析一份200頁(yè)的文檔，并引用第5頁(yè)的內(nèi)容？它很可能找不到。而泰坦架構(gòu)可以讓AI真正記住你討論過(guò)的所有內(nèi)容、你分享過(guò)的每一份文檔、你提到的每一個(gè)偏好——即使上下文跨越數(shù)百萬(wàn)字。

未來(lái) 6 到 12 個(gè)月內(nèi)，預(yù)計(jì)這種方法的各種變體將開始出現(xiàn)在生產(chǎn)環(huán)境中。谷歌已經(jīng)在使用“Hope”進(jìn)行開發(fā)，這是一個(gè)可以自我修改并優(yōu)化自身內(nèi)存的版本。

3.至于最佳論文……

門控注意力機(jī)制已投入生產(chǎn)使用。群體思維問(wèn)題將促使研究人員開發(fā)出能夠刻意實(shí)現(xiàn)輸出多樣化的模型。而強(qiáng)化學(xué)習(xí)的深度擴(kuò)展有望催生新一代功能強(qiáng)大的自動(dòng)駕駛、機(jī)器人和Physical AI智能體。

如果你每天都在使用人工智能工具，請(qǐng)留意那些明確宣傳輸出多樣性或更深層次推理能力的模型；這些論文只是為未來(lái)的發(fā)展方向奠定了基礎(chǔ)。

參考資料以及圖片

Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond) - UOW /CMU等

Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free - Qwen等

1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities

Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

Why Diffusion Models Don’t Memorize: The Role of Implicit Dynamical Regularization in Training

Superposition Yields Robust Neural Scaling

Optimal Mistake Bounds for Transductive Online Learning

*未經(jīng)準(zhǔn)許嚴(yán)禁轉(zhuǎn)載和摘錄-獲取本文參考資料方式：加入我們的知識(shí)星球可以下載公眾號(hào)海量參考資料包含以上參考資料。

>>>>

       原文標(biāo)題 : NeurIPS 2025 最佳論文詳解：你完全也能看懂