RecTok: Rekonstruktionsdistillation entlang eines gerichteten Flusses
RecTok: Reconstruction Distillation along Rectified Flow
December 15, 2025
papers.authors: Qingyu Shi, Size Wu, Jinbin Bai, Kaidong Yu, Yujing Wang, Yunhai Tong, Xiangtai Li, Xuelong Li
cs.AI
papers.abstract
Visuelle Tokenizer spielen eine entscheidende Rolle in Diffusionsmodellen. Die Dimensionalität des latenten Raums bestimmt sowohl die Rekonstruktionsgenauigkeit als auch die semantische Ausdruckskraft der latenten Merkmale. Allerdings besteht ein grundlegender Zielkonflikt zwischen Dimensionalität und Erzeugungsqualität, der bestehende Methoden auf niedrigdimensionale latente Räume beschränkt. Obwohl neuere Arbeiten Vision-Foundation-Models nutzen, um die Semantik visueller Tokenizer zu bereichern und die Konvergenz zu beschleunigen, schneiden hochdimensionale Tokenizer immer noch schlechter ab als ihre niedrigdimensionalen Gegenstücke. In dieser Arbeit schlagen wir RecTok vor, das die Grenzen hochdimensionaler visueller Tokenizer durch zwei zentrale Innovationen überwindet: Flow-Semantik-Distillation und Rekonstruktions-Alignment-Distillation. Unser zentraler Ansatz ist es, den Vorwärts-Flow im Flow Matching semantisch reichhaltig zu gestalten, der als Trainingsraum für Diffusions-Transformer dient, anstatt sich wie in früheren Arbeiten auf den latenten Raum zu konzentrieren. Konkret distilliert unsere Methode die semantischen Informationen aus VFMs in die Vorwärts-Flow-Trajektorien des Flow Matchings. Zusätzlich verbessern wir die Semantik durch eine maskierte Merkmalsrekonstruktionsverlustfunktion. Unser RecTok erzielt eine überlegene Bildrekonstruktion, Erzeugungsqualität und diskriminative Leistung. Es erreicht state-of-the-art Ergebnisse auf gFID-50K sowohl mit als auch ohne Classifier-Free Guidance, bei gleichzeitiger Beibehaltung einer semantisch reichhaltigen latenten Raumstruktur. Darüber hinaus beobachten wir konsistente Verbesserungen mit steigender latenter Dimensionalität. Code und Modelle sind verfügbar unter https://shi-qingyu.github.io/rectok.github.io.
English
Visual tokenizers play a crucial role in diffusion models. The dimensionality of latent space governs both reconstruction fidelity and the semantic expressiveness of the latent feature. However, a fundamental trade-off is inherent between dimensionality and generation quality, constraining existing methods to low-dimensional latent spaces. Although recent works have leveraged vision foundation models to enrich the semantics of visual tokenizers and accelerate convergence, high-dimensional tokenizers still underperform their low-dimensional counterparts. In this work, we propose RecTok, which overcomes the limitations of high-dimensional visual tokenizers through two key innovations: flow semantic distillation and reconstruction--alignment distillation. Our key insight is to make the forward flow in flow matching semantically rich, which serves as the training space of diffusion transformers, rather than focusing on the latent space as in previous works. Specifically, our method distills the semantic information in VFMs into the forward flow trajectories in flow matching. And we further enhance the semantics by introducing a masked feature reconstruction loss. Our RecTok achieves superior image reconstruction, generation quality, and discriminative performance. It achieves state-of-the-art results on the gFID-50K under both with and without classifier-free guidance settings, while maintaining a semantically rich latent space structure. Furthermore, as the latent dimensionality increases, we observe consistent improvements. Code and model are available at https://shi-qingyu.github.io/rectok.github.io.