謝賽寧、李飛飛、LeCun 聯(lián)手提出多模態(tài)大模型新范式，建立模型的“超級感知能力”

2025-11-13 18:27

來源： OFweek人工智能網

11月7日，紐約大學助理教授謝賽寧發(fā)布了新成果 Cambrian-S。合著者還有 AI“教母”李飛飛和圖靈獎得主 Yann LeCun。

謝賽寧和研究團隊于去年構建了 Cambrian-1 模型，這是一個用于圖像的多模態(tài)模型開放式探索項目。謝賽寧在社交媒體中寫道，在擴展 Cambrian 系列之前，他們面臨三個問題：

真正的多模態(tài)智能意味著什么？
LLM 范式對感覺建模真的有意義嗎？
為什么人類的感知如此輕松、如此直覺，卻又如此強大？

謝賽寧認為，多模態(tài)模型缺少了某種根本性的東西。如果不先建立超級感知能力，就無法建立超級智能。

在他看來，超感知能力并不是指高級傳感器或更好的攝像頭。它講述的是數字生命體如何真正體驗世界，吸收源源不斷的輸入并從中學習。

謝賽寧團隊劃分了多模態(tài)智能從現(xiàn)代到未來的發(fā)展路徑：

0. 僅語言理解：缺乏感官能力；推理僅限于文本和符號。目前的多語言學習模型已經超越了這一階段，但仍然保留著其偏見的痕跡。
1. 語義感知：將像素解析為對象、屬性和關系。這與多層線性模型中存在的強大的多模態(tài)“展示與講述”能力相對應。
2. 流式事件認知：處理實時、無界的流，同時主動解釋和響應正在發(fā)生的事件。這與目前將多語言學習者（MLLM）打造為實時助手的努力方向一致。
3. 內隱三維空間認知：將視頻理解為三維世界的投影。智能體必須知道物體存在什么、它們在哪里、它們之間如何關聯(lián)以及它們如何隨時間變化。目前的多模態(tài)模型在這方面仍然非常有限。
4. 預測性世界建模：大腦通過基于先前預期預測潛在的世界狀態(tài)來進行“無意識推斷”。目前的多模態(tài)系統(tǒng)沒有能夠預測未來狀態(tài)、維持持久記憶或進行推理和計劃的內部模型。

團隊嘗試了一種全新的原型——預測感知（predictive sensing）。他們在 Cambrian-S 上訓練了一個潛變量幀預測（LFP）頭，并在推理過程中用兩種方式對 “surprise” 的程度進行估計及利用：

surprise-driven 的記憶管理 —— 壓縮或跳過不令人驚訝的幀，將算力集中在 “surprise” 的幀上
surprise-driven 的事件分割 —— 利用 “surprise” 的峰值來檢測事件邊界或場景變化

基準測試空間超感知

常用的視頻多語言語言學習（MLLM）基準測試大多側重于語言理解和語義感知，而忽略了超感知所需的更高級的空間和時間推理能力。

為了彌補這一關鍵缺陷，團隊引入了 VSI-S，這是一個專門用于探測空間感知中這些更復雜、更持續(xù)的方面的新基準測試，由兩個部分組成：

VSI-SRecall：長時域空間觀測和召回。
VSI-SCount：在不斷變化的視角和場景下進行連續(xù)計數

研究人員為向 Cambrian-1 模型輸入視頻設立了幾種實驗條件：

Multiple Frames (多幀): 模型處理從視頻片段中均勻采樣的 32 幀。這是文獻中表示視頻輸入的標準方法。
Single Frame (單幀): 模型僅處理給定視頻片段的中間幀。此條件測試對最少的、上下文核心的視覺信息的依賴程度。
Frame Captions (幀字幕): 模型不接收視頻幀，而是接收對應于相同 32 幀均勻采樣圖像的字幕。

為了更好地理解這些條件下的性能，團隊引入了另外兩個基準：

盲測：模型僅使用任務問題本身來嘗試完成任務。所有視覺輸入均被忽略，不使用任何視覺提示。此基準測試基于模型已有的知識、語言先驗以及基準問題中可能存在的任何偏差來衡量模型的性能。
隨機準確率：這代表了在特定任務形式下隨機猜測所能達到的準確率，作為表現(xiàn)的最低標準。

結果表明，Cambrian-1 是一款基于圖像的多級邏輯學習模型 (MLLM)，無需任何視頻后訓練，即可在多個基準測試中取得合理的性能，在某些情況下，其準確率甚至比隨機水平高出 10-30%。這表明，這些基準測試所針對的大部分知識都可以通過標準的單圖像指令調優(yōu)流程獲得。

然而，在兩個現(xiàn)有數據集 VSI-Bench 和 Tomato 上，該模型的性能低于隨機水平。對于 VSI-Bench，這主要是因為其空間理解問題需要真正的視頻感知以及有針對性的數據整理和訓練。對于 Tomato，該基準測試要求理解來自高幀率視頻的精細細節(jié)，所以這種結果也在預期之內。

使用文本字幕代替視覺輸入也能顯著提升性能，在 EgoSchema 等基準測試中，該模型的準確率比隨機猜測高出 20% 以上。