Het afstemmen van visuele basisencoders op tokenizers voor diffusiemodellen

Aligning Visual Foundation Encoders to Tokenizers for Diffusion Models

September 29, 2025

Auteurs: Bowei Chen, Sai Bi, Hao Tan, He Zhang, Tianyuan Zhang, Zhengqi Li, Yuanjun Xiong, Jianming Zhang, Kai Zhang

cs.AI

Samenvatting

In dit werk stellen we voor om voorgetrainde visuele encoders af te stemmen om te dienen als tokenizers voor latente diffusiemodellen in beeldgeneratie. In tegenstelling tot het trainen van een variational autoencoder (VAE) vanaf nul, wat vooral gericht is op laagniveau details, maakt onze aanpak gebruik van de rijke semantische structuur van foundation encoders. We introduceren een driestappen afstemmingsstrategie: (1) bevries de encoder en train een adapter en een decoder om een semantische latente ruimte te creëren; (2) optimaliseer alle componenten gezamenlijk met een extra semantisch behoudsverlies, waardoor de encoder perceptuele details kan vastleggen terwijl hoog-niveau semantiek behouden blijft; en (3) verfijn de decoder voor een verbeterde reconstructiekwaliteit. Deze afstemming resulteert in semantisch rijke beeldtokenizers die diffusiemodellen ten goede komen. Op ImageNet 256x256 versnelt onze tokenizer de convergentie van diffusiemodellen, waarbij een gFID van 1.90 wordt bereikt binnen slechts 64 epochs, en verbetert de generatie zowel met als zonder classifier-free guidance. Bij opschaling naar LAION, een tekst-naar-beeldmodel met 2B parameters getraind met onze tokenizer, presteert het consistent beter dan FLUX VAE onder dezelfde trainingsstappen. Over het algemeen is onze methode eenvoudig, schaalbaar en legt het een semantisch gefundeerd paradigma neer voor het ontwerpen van continue tokenizers.

English

In this work, we propose aligning pretrained visual encoders to serve as tokenizers for latent diffusion models in image generation. Unlike training a variational autoencoder (VAE) from scratch, which primarily emphasizes low-level details, our approach leverages the rich semantic structure of foundation encoders. We introduce a three-stage alignment strategy: (1) freeze the encoder and train an adapter and a decoder to establish a semantic latent space; (2) jointly optimize all components with an additional semantic preservation loss, enabling the encoder to capture perceptual details while retaining high-level semantics; and (3) refine the decoder for improved reconstruction quality. This alignment yields semantically rich image tokenizers that benefit diffusion models. On ImageNet 256times256, our tokenizer accelerates the convergence of diffusion models, reaching a gFID of 1.90 within just 64 epochs, and improves generation both with and without classifier-free guidance. Scaling to LAION, a 2B-parameter text-to-image model trained with our tokenizer consistently outperforms FLUX VAE under the same training steps. Overall, our method is simple, scalable, and establishes a semantically grounded paradigm for continuous tokenizer design.