Согласование визуальных базовых энкодеров с токенизаторами для диффузионных моделей
Aligning Visual Foundation Encoders to Tokenizers for Diffusion Models
September 29, 2025
Авторы: Bowei Chen, Sai Bi, Hao Tan, He Zhang, Tianyuan Zhang, Zhengqi Li, Yuanjun Xiong, Jianming Zhang, Kai Zhang
cs.AI
Аннотация
В данной работе мы предлагаем адаптировать предобученные визуальные кодировщики для использования в качестве токенизаторов в латентных диффузионных моделях при генерации изображений. В отличие от обучения вариационного автоэнкодера (VAE) с нуля, что в основном фокусируется на низкоуровневых деталях, наш подход использует богатую семантическую структуру базовых кодировщиков. Мы представляем трехэтапную стратегию адаптации: (1) замораживаем кодировщик и обучаем адаптер и декодер для создания семантического латентного пространства; (2) совместно оптимизируем все компоненты с дополнительной функцией потерь для сохранения семантики, что позволяет кодировщику захватывать перцептивные детали, сохраняя при этом высокоуровневую семантику; и (3) дорабатываем декодер для улучшения качества реконструкции. Такая адаптация создает семантически насыщенные токенизаторы изображений, которые приносят пользу диффузионным моделям. На наборе данных ImageNet 256×256 наш токенизатор ускоряет сходимость диффузионных моделей, достигая gFID 1.90 всего за 64 эпохи, и улучшает генерацию как с использованием, так и без использования классификатор-фри гида. При масштабировании до LAION, модель для генерации изображений из текста с 2 миллиардами параметров, обученная с нашим токенизатором, стабильно превосходит FLUX VAE при одинаковом количестве шагов обучения. В целом, наш метод прост, масштабируем и устанавливает семантически обоснованную парадигму для проектирования непрерывных токенизаторов.
English
In this work, we propose aligning pretrained visual encoders to serve as
tokenizers for latent diffusion models in image generation. Unlike training a
variational autoencoder (VAE) from scratch, which primarily emphasizes
low-level details, our approach leverages the rich semantic structure of
foundation encoders. We introduce a three-stage alignment strategy: (1) freeze
the encoder and train an adapter and a decoder to establish a semantic latent
space; (2) jointly optimize all components with an additional semantic
preservation loss, enabling the encoder to capture perceptual details while
retaining high-level semantics; and (3) refine the decoder for improved
reconstruction quality. This alignment yields semantically rich image
tokenizers that benefit diffusion models. On ImageNet 256times256, our
tokenizer accelerates the convergence of diffusion models, reaching a gFID of
1.90 within just 64 epochs, and improves generation both with and without
classifier-free guidance. Scaling to LAION, a 2B-parameter text-to-image model
trained with our tokenizer consistently outperforms FLUX VAE under the same
training steps. Overall, our method is simple, scalable, and establishes a
semantically grounded paradigm for continuous tokenizer design.