RecTok: Reconstructiedistillatie langs gecorrigeerde stroming
RecTok: Reconstruction Distillation along Rectified Flow
December 15, 2025
Auteurs: Qingyu Shi, Size Wu, Jinbin Bai, Kaidong Yu, Yujing Wang, Yunhai Tong, Xiangtai Li, Xuelong Li
cs.AI
Samenvatting
Visuele tokenizers spelen een cruciale rol in diffusiemodellen. De dimensionaliteit van de latente ruimte bepaalt zowel de reconstructienauwkeurigheid als de semantische expressiviteit van het latente kenmerk. Er bestaat echter een fundamentele afweging tussen dimensionaliteit en generatiekwaliteit, waardoor bestaande methoden beperkt blijven tot latente ruimtes met lage dimensionaliteit. Hoewel recente werken vision foundation-modellen hebben benut om de semantiek van visuele tokenizers te verrijken en de convergentie te versnellen, presteren hoogdimensionale tokenizers nog steeds minder goed dan hun laagdimensionale tegenhangers. In dit werk stellen we RecTok voor, dat de beperkingen van hoogdimensionale visuele tokenizers overwint door twee belangrijke innovaties: flow semantische distillatie en reconstructie-uitlijningsdistillatie. Onze belangrijkste inzicht is om de voorwaartse flow in flow matching semantisch rijk te maken, wat dient als de trainingsruimte voor diffusietransformers, in plaats van te focussen op de latente ruimte zoals in eerdere werken. Concreet distilleert onze methode de semantische informatie in VFM's naar de voorwaartse flowtrajecten in flow matching. Versterken we de semantiek verder door een gemaskeerd kenmerkreconstructieverlies te introduceren. Onze RecTok bereikt superieure beeldreconstructie, generatiekwaliteit en onderscheidend vermogen. Het behaalt state-of-the-art resultaten op de gFID-50K met zowel mét als zonder classifier-free guidance, waarbij een semantisch rijke latente ruimtestructuur behouden blijft. Bovendien observeren we consistente verbeteringen naarmate de latente dimensionaliteit toeneemt. Code en model zijn beschikbaar op https://shi-qingyu.github.io/rectok.github.io.
English
Visual tokenizers play a crucial role in diffusion models. The dimensionality of latent space governs both reconstruction fidelity and the semantic expressiveness of the latent feature. However, a fundamental trade-off is inherent between dimensionality and generation quality, constraining existing methods to low-dimensional latent spaces. Although recent works have leveraged vision foundation models to enrich the semantics of visual tokenizers and accelerate convergence, high-dimensional tokenizers still underperform their low-dimensional counterparts. In this work, we propose RecTok, which overcomes the limitations of high-dimensional visual tokenizers through two key innovations: flow semantic distillation and reconstruction--alignment distillation. Our key insight is to make the forward flow in flow matching semantically rich, which serves as the training space of diffusion transformers, rather than focusing on the latent space as in previous works. Specifically, our method distills the semantic information in VFMs into the forward flow trajectories in flow matching. And we further enhance the semantics by introducing a masked feature reconstruction loss. Our RecTok achieves superior image reconstruction, generation quality, and discriminative performance. It achieves state-of-the-art results on the gFID-50K under both with and without classifier-free guidance settings, while maintaining a semantically rich latent space structure. Furthermore, as the latent dimensionality increases, we observe consistent improvements. Code and model are available at https://shi-qingyu.github.io/rectok.github.io.