Alineación de Codificadores Visuales Fundamentales con Tokenizadores para Modelos de Difusión

Resumen

En este trabajo, proponemos alinear codificadores visuales preentrenados para que sirvan como tokenizadores en modelos de difusión latente para la generación de imágenes. A diferencia de entrenar un autoencoder variacional (VAE) desde cero, que se enfoca principalmente en detalles de bajo nivel, nuestro enfoque aprovecha la rica estructura semántica de los codificadores base. Introducimos una estrategia de alineación en tres etapas: (1) congelar el codificador y entrenar un adaptador y un decodificador para establecer un espacio latente semántico; (2) optimizar conjuntamente todos los componentes con una pérdida adicional de preservación semántica, permitiendo que el codificador capture detalles perceptivos mientras conserva la semántica de alto nivel; y (3) refinar el decodificador para mejorar la calidad de la reconstrucción. Esta alineación produce tokenizadores de imágenes semánticamente ricos que benefician a los modelos de difusión. En ImageNet 256×256, nuestro tokenizador acelera la convergencia de los modelos de difusión, alcanzando un gFID de 1.90 en solo 64 épocas, y mejora la generación tanto con como sin guía libre de clasificador. Al escalar a LAION, un modelo de texto a imagen de 2B parámetros entrenado con nuestro tokenizador supera consistentemente a FLUX VAE bajo los mismos pasos de entrenamiento. En general, nuestro método es simple, escalable y establece un paradigma semánticamente fundamentado para el diseño continuo de tokenizadores.

English

In this work, we propose aligning pretrained visual encoders to serve as tokenizers for latent diffusion models in image generation. Unlike training a variational autoencoder (VAE) from scratch, which primarily emphasizes low-level details, our approach leverages the rich semantic structure of foundation encoders. We introduce a three-stage alignment strategy: (1) freeze the encoder and train an adapter and a decoder to establish a semantic latent space; (2) jointly optimize all components with an additional semantic preservation loss, enabling the encoder to capture perceptual details while retaining high-level semantics; and (3) refine the decoder for improved reconstruction quality. This alignment yields semantically rich image tokenizers that benefit diffusion models. On ImageNet 256times256, our tokenizer accelerates the convergence of diffusion models, reaching a gFID of 1.90 within just 64 epochs, and improves generation both with and without classifier-free guidance. Scaling to LAION, a 2B-parameter text-to-image model trained with our tokenizer consistently outperforms FLUX VAE under the same training steps. Overall, our method is simple, scalable, and establishes a semantically grounded paradigm for continuous tokenizer design.

Alineación de Codificadores Visuales Fundamentales con Tokenizadores para Modelos de Difusión

Aligning Visual Foundation Encoders to Tokenizers for Diffusion Models

Resumen

Support