RecTok : Reconstruction Distillation le long d'un Flux Rectifié

papers.abstract

Les tokenizers visuels jouent un rôle crucial dans les modèles de diffusion. La dimensionnalité de l'espace latent régit à la fois la fidélité de reconstruction et l'expressivité sémantique des caractéristiques latentes. Cependant, un compromis fondamental existe entre la dimensionnalité et la qualité de génération, contraignant les méthodes existantes à des espaces latents de faible dimension. Bien que des travaux récents aient exploité des modèles de fondation visuelle pour enrichir la sémantique des tokenizers visuels et accélérer la convergence, les tokenizers haute dimension restent moins performants que leurs équivalents basse dimension. Dans ce travail, nous proposons RecTok, qui surmonte les limitations des tokenizers visuels haute dimension grâce à deux innovations clés : la distillation sémantique de flux et la distillation alignement-reconstruction. Notre idée maîtresse est de rendre le flux direct dans le "flow matching" sémantiquement riche, servant d'espace d'entraînement aux transformers de diffusion, plutôt que de se concentrer sur l'espace latent comme dans les travaux précédents. Concrètement, notre méthode distille l'information sémantique des VFMs dans les trajectoires de flux direct du "flow matching". Nous enrichissons davantage la sémantique en introduisant une perte de reconstruction de caractéristiques masquées. Notre RecTok obtient une reconstruction d'image, une qualité de génération et des performances discriminatives supérieures. Il atteint des résultats state-of-the-art sur gFID-50K avec et sans "classifier-free guidance", tout en maintenant une structure d'espace latent sémantiquement riche. De plus, nous observons des améliorations constantes avec l'augmentation de la dimensionnalité latente. Le code et le modèle sont disponibles à l'adresse https://shi-qingyu.github.io/rectok.github.io.

English

Visual tokenizers play a crucial role in diffusion models. The dimensionality of latent space governs both reconstruction fidelity and the semantic expressiveness of the latent feature. However, a fundamental trade-off is inherent between dimensionality and generation quality, constraining existing methods to low-dimensional latent spaces. Although recent works have leveraged vision foundation models to enrich the semantics of visual tokenizers and accelerate convergence, high-dimensional tokenizers still underperform their low-dimensional counterparts. In this work, we propose RecTok, which overcomes the limitations of high-dimensional visual tokenizers through two key innovations: flow semantic distillation and reconstruction--alignment distillation. Our key insight is to make the forward flow in flow matching semantically rich, which serves as the training space of diffusion transformers, rather than focusing on the latent space as in previous works. Specifically, our method distills the semantic information in VFMs into the forward flow trajectories in flow matching. And we further enhance the semantics by introducing a masked feature reconstruction loss. Our RecTok achieves superior image reconstruction, generation quality, and discriminative performance. It achieves state-of-the-art results on the gFID-50K under both with and without classifier-free guidance settings, while maintaining a semantically rich latent space structure. Furthermore, as the latent dimensionality increases, we observe consistent improvements. Code and model are available at https://shi-qingyu.github.io/rectok.github.io.

RecTok : Reconstruction Distillation le long d'un Flux Rectifié

RecTok: Reconstruction Distillation along Rectified Flow

papers.abstract

Support