拡散モデルのためのトークナイザーと視覚基盤エンコーダーの整合

要旨

本研究では、事前学習された視覚エンコーダを整列させ、画像生成における潜在拡散モデルのトークナイザとして活用する手法を提案する。変分オートエンコーダ（VAE）をゼロから学習させる従来の手法が主に低レベルの詳細に焦点を当てるのに対し、我々のアプローチは基盤エンコーダの豊かな意味構造を活用する。3段階の整列戦略を導入する：(1) エンコーダを凍結し、アダプタとデコーダを学習させて意味的な潜在空間を確立する；(2) 全てのコンポーネントを共同で最適化し、追加の意味保存損失を用いて、エンコーダが知覚的詳細を捉えつつ高レベルの意味を保持できるようにする；(3) デコーダを改良して再構成品質を向上させる。この整列により、意味的に豊かな画像トークナイザが得られ、拡散モデルに恩恵をもたらす。ImageNet 256×256において、我々のトークナイザは拡散モデルの収束を加速し、わずか64エポックでgFID 1.90を達成し、分類器不要ガイダンスの有無にかかわらず生成品質を向上させる。LAIONにスケールアップした場合、2Bパラメータのテキスト画像モデルを我々のトークナイザで学習させると、同じ学習ステップ数でFLUX VAEを一貫して上回る。全体として、我々の手法はシンプルでスケーラブルであり、連続的なトークナイザ設計のための意味論的基盤を確立する。

English

In this work, we propose aligning pretrained visual encoders to serve as tokenizers for latent diffusion models in image generation. Unlike training a variational autoencoder (VAE) from scratch, which primarily emphasizes low-level details, our approach leverages the rich semantic structure of foundation encoders. We introduce a three-stage alignment strategy: (1) freeze the encoder and train an adapter and a decoder to establish a semantic latent space; (2) jointly optimize all components with an additional semantic preservation loss, enabling the encoder to capture perceptual details while retaining high-level semantics; and (3) refine the decoder for improved reconstruction quality. This alignment yields semantically rich image tokenizers that benefit diffusion models. On ImageNet 256times256, our tokenizer accelerates the convergence of diffusion models, reaching a gFID of 1.90 within just 64 epochs, and improves generation both with and without classifier-free guidance. Scaling to LAION, a 2B-parameter text-to-image model trained with our tokenizer consistently outperforms FLUX VAE under the same training steps. Overall, our method is simple, scalable, and establishes a semantically grounded paradigm for continuous tokenizer design.

拡散モデルのためのトークナイザーと視覚基盤エンコーダーの整合

Aligning Visual Foundation Encoders to Tokenizers for Diffusion Models

要旨

Support