ResNet 之父、麻省理工副教授何愷明新論文發(fā)現(xiàn)了這一問題。

預測干凈數(shù)據(jù)和預測帶噪聲的量本質上是不同的。根據(jù)流形假設，自然數(shù)據(jù)應該位于低維流形上，而帶噪聲的量則不然。

基于此假設，何愷明提倡使用直接預測干凈數(shù)據(jù)的模型，這使得看似容量不足的網絡能夠在高維空間中高效運行。

結果證明，簡單的、基于像素的大塊 Transformer 模型可以成為強大的生成模型：無需分詞器、無需預訓練，也無需額外的損失函數(shù)。

Just Image Transformers

整體架構是“圖像變換器”（Just Image Transformer，簡稱 JiT）。他們研究了 256×256 圖像上的 JiT/16（即圖像塊大小 p=16）以及 512×512 圖像上的 JiT/32（p=32）。

實驗證明，僅使用 x 預測，對像素進行操作的普通視覺變換器 (ViT) 就能出人意料地好用。

ViT 的核心思想是**基于補丁的轉換器 (ToP)**。研究架構設計遵循這一理念。

研究人員總結了損失空間和預測空間的九種可能組合。對于每一種組合訓練了一個基礎模型（JiT-B），其每個標記的隱藏層大小為 768 維。

結果顯示，當模型性能已經相當不錯時，適當高的噪聲是有益的。

在 x-prediction 的情況下，增加隱藏單元的數(shù)量并非必要。

網絡設計可以很大程度上與觀測到的維度無關，這在許多其他神經網絡應用中也是如此。增加隱藏單元的數(shù)量可能是有益的，但這并非決定性的因素。

研究人員整合了一些常用的通用改進方法：SwiGLU、RMSNorm、RoPE 和 qk-norm，這些方法最初都是為語言模型開發(fā)的。他們還探索了上下文中的類條件化。

實驗結果

在 ImageNet 256×256 的結果中，他們評估了 5 萬個樣本的 FID 和 IS。 “預訓練”使用了預訓練的 VGG 分類器。參數(shù)包括生成器和分詞解碼器，但不包括其他預訓練組件。結果大致與訓練和推理過程中每次迭代的計算成本成正比。

在 ImageNet 512×512 的結果顯示，JiT 采用較大的圖像塊尺寸，并能以較小的計算量獲得良好的結果。

盡管 v-prediction 似乎是 v-loss 的“原生”參數(shù)化方式，但其損失值卻比 x-prediction **高出約 25%**。這一比較表明，由于數(shù)據(jù)位于低維流形上，x-prediction 的任務本質上更容易。

研究人員還觀察到，?prediction 的損失值大約高出 3 倍，且不穩(wěn)定。

雖然研究有意不使用任何額外的損失函數(shù)，然而，基于潛在變量的方法通常依賴于使用對抗損失和感知損失訓練的分詞器，因此它們的生成過程并非完全由擴散驅動。

在特定的 Transformer 模塊（JiT-B 中的第 4 個模塊和 JiT-L 中的第 8 個模塊）之后附加一個分類器頭。該分類器由全局平均池化層和線性層組成，并應用交叉熵損失函數(shù)來處理 1000 類 ImageNet 分類任務。

這一小的改動帶來了不錯的改進，他們將在未來的工作中探討這個問題。

參考資料：

https://arxiv.org/pdf/2511.13720v1