凍結されたピクセル空間拡散モデルは、自身のサンプルを用いて自己誘導できる

要旨

ピクセル空間拡散モデルは、生のピクセル上で直接エンドツーエンドの生成器を学習することを目的としている。これは、単一のモデルが同じ高次元空間において大域構造と局所テクスチャの両方を捉えなければならないため、困難な課題である。近年の研究では、代替の予測ターゲット、学習目的、アーキテクチャを通じてピクセル拡散を改善しているが、これらの進歩は通常、新しいモデルをゼロから学習することを必要とする。我々は、より低コストで相補的な戦略が存在することを示す：凍結された事前学習済みピクセル拡散モデルは、それ自体を誘導できる。我々の重要な観察は、事前学習済みのピクセル拡散トランスフォーマーの中間層を、主要な低周波構造を捉える粗い予測へとデコードできる一方、最終層が局所的な高周波の詳細を徐々に精緻化するという点である。そこで我々は、軽量な予測ヘッドを中間層に取り付け、バックボーンを凍結したまま、中間予測と最終予測の乖離をサンプリング時の自己誘導方向として用いる。さらに、このヘッドの学習には実画像は不要であることを見出した。代わりに、モデル生成サンプルで十分であり、特にピクセル拡散が過小適合しがちな高周波成分を強化する上で、ヘッドの学習において実画像よりも優れていることさえある。ImageNet上の複数のピクセル拡散モデルにわたり、我々の合成自己誘導（SSG）は生成を一貫して改善し、アダプター学習はフルモデル学習の計算コストの1%未満で済む：クラス分類器フリーガイダンス（CFG）なしで評価されたJiTの全変種においてFIDを50%以上削減し、CFGを用いた強力なベースラインもさらに改善する（例：JiT-H/16を1.86から1.67へ、PixelREPA-H/16を1.81から1.59へ）。我々のコードはhttps://github.com/zfu006/SSGで公開している。

English

Pixel-space diffusion models aim to learn an end-to-end generator directly over raw pixels. This is challenging because a single model must capture both global structure and local texture in the same high-dimensional space. While recent work improves pixel diffusion through alternative prediction targets, training objectives, and architectures, these advances typically require training a new model from scratch. We show there is a cheaper, complementary strategy: a frozen, pretrained pixel diffusion model can guide itself. Our key observation is that intermediate layers of a pretrained pixel diffusion transformer can be decoded into coarse predictions that capture the main low-frequency structure, while the final layers progressively refine local, high-frequency details. We therefore attach a lightweight prediction head to an intermediate layer, keep the backbone frozen, and use the discrepancy between the intermediate and final predictions as a self-guidance direction during sampling. To train this head, we further find that real images are not necessary. Instead, model-generated samples suffice and even outperform real images for training the head, especially in enhancing the high-frequency components that pixel diffusion tends to underfit. Across multiple pixel diffusion models on ImageNet, our Synthetic Self-Guidance (SSG) consistently improves generation while adapter training requires less than 1% of full-model training compute: it reduces FID by over 50% across the evaluated JiT variants without classifier-free guidance (CFG) and further improves strong baselines with CFG, e.g., JiT-H/16 from 1.86 to 1.67 and PixelREPA-H/16 from 1.81 to 1.59. Our code is available at https://github.com/zfu006/SSG.