Diffusionstransformatoren mit Repräsentations-Autoencodern

Diffusion Transformers with Representation Autoencoders

October 13, 2025

papers.authors: Boyang Zheng, Nanye Ma, Shengbang Tong, Saining Xie

cs.AI

papers.abstract

Latente generative Modellierung, bei der ein vortrainierter Autoencoder Pixel in einen latenten Raum für den Diffusionsprozess abbildet, hat sich zur Standardstrategie für Diffusion Transformers (DiT) entwickelt; jedoch hat sich die Autoencoder-Komponente kaum weiterentwickelt. Die meisten DiTs verlassen sich weiterhin auf den ursprünglichen VAE-Encoder, was mehrere Einschränkungen mit sich bringt: veraltete Backbones, die die architektonische Einfachheit beeinträchtigen, niedrigdimensionale latente Räume, die die Informationskapazität begrenzen, und schwache Repräsentationen, die aus rein rekonstruktionsbasiertem Training resultieren und letztlich die generative Qualität einschränken. In dieser Arbeit untersuchen wir den Ersatz des VAE durch vortrainierte Repräsentationsencoder (z.B. DINO, SigLIP, MAE), die mit trainierten Decodern kombiniert werden, wodurch wir sogenannte Representation Autoencoders (RAEs) bilden. Diese Modelle bieten sowohl hochwertige Rekonstruktionen als auch semantisch reichhaltige latente Räume, während sie eine skalierbare, transformerbasierte Architektur ermöglichen. Da diese latenten Räume typischerweise hochdimensional sind, besteht eine zentrale Herausforderung darin, Diffusion Transformers effektiv in ihnen arbeiten zu lassen. Wir analysieren die Ursachen dieser Schwierigkeit, schlagen theoretisch fundierte Lösungen vor und validieren diese empirisch. Unser Ansatz erreicht eine schnellere Konvergenz ohne zusätzliche Repräsentationsausrichtungsverluste. Mit einer DiT-Variante, die mit einem leichten, breiten DDT-Head ausgestattet ist, erzielen wir starke Bildgenerierungsergebnisse auf ImageNet: 1.51 FID bei 256x256 (ohne Führung) und 1.13 sowohl bei 256x256 als auch bei 512x512 (mit Führung). RAE bietet klare Vorteile und sollte der neue Standard für das Training von Diffusion Transformers sein.

English

Latent generative modeling, where a pretrained autoencoder maps pixels into a latent space for the diffusion process, has become the standard strategy for Diffusion Transformers (DiT); however, the autoencoder component has barely evolved. Most DiTs continue to rely on the original VAE encoder, which introduces several limitations: outdated backbones that compromise architectural simplicity, low-dimensional latent spaces that restrict information capacity, and weak representations that result from purely reconstruction-based training and ultimately limit generative quality. In this work, we explore replacing the VAE with pretrained representation encoders (e.g., DINO, SigLIP, MAE) paired with trained decoders, forming what we term Representation Autoencoders (RAEs). These models provide both high-quality reconstructions and semantically rich latent spaces, while allowing for a scalable transformer-based architecture. Since these latent spaces are typically high-dimensional, a key challenge is enabling diffusion transformers to operate effectively within them. We analyze the sources of this difficulty, propose theoretically motivated solutions, and validate them empirically. Our approach achieves faster convergence without auxiliary representation alignment losses. Using a DiT variant equipped with a lightweight, wide DDT head, we achieve strong image generation results on ImageNet: 1.51 FID at 256x256 (no guidance) and 1.13 at both 256x256 and 512x512 (with guidance). RAE offers clear advantages and should be the new default for diffusion transformer training.