Transformers de diffusion avec autoencodeurs de représentation

Diffusion Transformers with Representation Autoencoders

October 13, 2025

papers.authors: Boyang Zheng, Nanye Ma, Shengbang Tong, Saining Xie

cs.AI

papers.abstract

La modélisation générative latente, où un autoencodeur pré-entraîné transforme les pixels en un espace latent pour le processus de diffusion, est devenue la stratégie standard pour les Transformers de Diffusion (DiT) ; cependant, le composant autoencodeur a peu évolué. La plupart des DiT continuent de s'appuyer sur l'encodeur VAE original, ce qui introduit plusieurs limitations : des architectures obsolètes qui compromettent la simplicité structurelle, des espaces latents de faible dimension qui restreignent la capacité d'information, et des représentations faibles résultant d'un entraînement basé uniquement sur la reconstruction, limitant finalement la qualité générative. Dans ce travail, nous explorons le remplacement du VAE par des encodeurs de représentation pré-entraînés (par exemple, DINO, SigLIP, MAE) associés à des décodeurs entraînés, formant ce que nous appelons des Autoencodeurs de Représentation (RAE). Ces modèles offrent à la fois des reconstructions de haute qualité et des espaces latents sémantiquement riches, tout en permettant une architecture basée sur des transformers évolutive. Comme ces espaces latents sont généralement de haute dimension, un défi clé est de permettre aux transformers de diffusion d'y opérer efficacement. Nous analysons les sources de cette difficulté, proposons des solutions théoriquement motivées et les validons empiriquement. Notre approche permet une convergence plus rapide sans pertes d'alignement de représentation auxiliaires. En utilisant une variante de DiT équipée d'une tête DDT légère et large, nous obtenons des résultats solides en génération d'images sur ImageNet : 1,51 FID à 256x256 (sans guidage) et 1,13 à la fois à 256x256 et 512x512 (avec guidage). RAE offre des avantages clairs et devrait devenir le nouveau standard pour l'entraînement des transformers de diffusion.

English

Latent generative modeling, where a pretrained autoencoder maps pixels into a latent space for the diffusion process, has become the standard strategy for Diffusion Transformers (DiT); however, the autoencoder component has barely evolved. Most DiTs continue to rely on the original VAE encoder, which introduces several limitations: outdated backbones that compromise architectural simplicity, low-dimensional latent spaces that restrict information capacity, and weak representations that result from purely reconstruction-based training and ultimately limit generative quality. In this work, we explore replacing the VAE with pretrained representation encoders (e.g., DINO, SigLIP, MAE) paired with trained decoders, forming what we term Representation Autoencoders (RAEs). These models provide both high-quality reconstructions and semantically rich latent spaces, while allowing for a scalable transformer-based architecture. Since these latent spaces are typically high-dimensional, a key challenge is enabling diffusion transformers to operate effectively within them. We analyze the sources of this difficulty, propose theoretically motivated solutions, and validate them empirically. Our approach achieves faster convergence without auxiliary representation alignment losses. Using a DiT variant equipped with a lightweight, wide DDT head, we achieve strong image generation results on ImageNet: 1.51 FID at 256x256 (no guidance) and 1.13 at both 256x256 and 512x512 (with guidance). RAE offers clear advantages and should be the new default for diffusion transformer training.