Alignement des encodeurs visuels de base avec les tokenizers pour les modèles de diffusion

Aligning Visual Foundation Encoders to Tokenizers for Diffusion Models

September 29, 2025

papers.authors: Bowei Chen, Sai Bi, Hao Tan, He Zhang, Tianyuan Zhang, Zhengqi Li, Yuanjun Xiong, Jianming Zhang, Kai Zhang

cs.AI

papers.abstract

Dans ce travail, nous proposons d'aligner des encodeurs visuels pré-entraînés pour servir de tokenizers dans les modèles de diffusion latente pour la génération d'images. Contrairement à l'entraînement d'un autoencodeur variationnel (VAE) à partir de zéro, qui met principalement l'accent sur les détails de bas niveau, notre approche exploite la riche structure sémantique des encodeurs de base. Nous introduisons une stratégie d'alignement en trois étapes : (1) geler l'encodeur et entraîner un adaptateur ainsi qu'un décodeur pour établir un espace latent sémantique ; (2) optimiser conjointement tous les composants avec une perte supplémentaire de préservation sémantique, permettant à l'encodeur de capturer des détails perceptuels tout en conservant la sémantique de haut niveau ; et (3) affiner le décodeur pour améliorer la qualité de reconstruction. Cet alignement produit des tokenizers d'images riches en sémantique qui profitent aux modèles de diffusion. Sur ImageNet 256x256, notre tokenizer accélère la convergence des modèles de diffusion, atteignant un gFID de 1,90 en seulement 64 époques, et améliore la génération avec et sans guidage sans classifieur. En passant à l'échelle de LAION, un modèle texte-à-image de 2 milliards de paramètres entraîné avec notre tokenizer surpasse systématiquement FLUX VAE pour le même nombre d'étapes d'entraînement. Globalement, notre méthode est simple, scalable et établit un paradigme sémantiquement fondé pour la conception de tokenizers continus.

English

In this work, we propose aligning pretrained visual encoders to serve as tokenizers for latent diffusion models in image generation. Unlike training a variational autoencoder (VAE) from scratch, which primarily emphasizes low-level details, our approach leverages the rich semantic structure of foundation encoders. We introduce a three-stage alignment strategy: (1) freeze the encoder and train an adapter and a decoder to establish a semantic latent space; (2) jointly optimize all components with an additional semantic preservation loss, enabling the encoder to capture perceptual details while retaining high-level semantics; and (3) refine the decoder for improved reconstruction quality. This alignment yields semantically rich image tokenizers that benefit diffusion models. On ImageNet 256times256, our tokenizer accelerates the convergence of diffusion models, reaching a gFID of 1.90 within just 64 epochs, and improves generation both with and without classifier-free guidance. Scaling to LAION, a 2B-parameter text-to-image model trained with our tokenizer consistently outperforms FLUX VAE under the same training steps. Overall, our method is simple, scalable, and establishes a semantically grounded paradigm for continuous tokenizer design.