RecTok: Distilación por Reconstrucción a lo largo de Flujo Rectificado
RecTok: Reconstruction Distillation along Rectified Flow
December 15, 2025
Autores: Qingyu Shi, Size Wu, Jinbin Bai, Kaidong Yu, Yujing Wang, Yunhai Tong, Xiangtai Li, Xuelong Li
cs.AI
Resumen
Los tokenizadores visuales desempeñan un papel crucial en los modelos de difusión. La dimensionalidad del espacio latente gobierna tanto la fidelidad de la reconstrucción como la expresividad semántica de la característica latente. Sin embargo, existe un equilibrio fundamental inherente entre la dimensionalidad y la calidad de la generación, lo que restringe los métodos existentes a espacios latentes de baja dimensionalidad. Aunque trabajos recientes han aprovechado modelos fundacionales de visión para enriquecer la semántica de los tokenizadores visuales y acelerar la convergencia, los tokenizadores de alta dimensionalidad aún rinden por debajo de sus contrapartes de baja dimensionalidad. En este trabajo, proponemos RecTok, que supera las limitaciones de los tokenizadores visuales de alta dimensionalidad mediante dos innovaciones clave: destilación semántica de flujo y destilación de alineación-reconstrucción. Nuestra idea clave es hacer que el flujo directo en la correspondencia de flujos sea semánticamente rico, lo que sirve como espacio de entrenamiento de los transformadores de difusión, en lugar de centrarse en el espacio latente como en trabajos anteriores. Específicamente, nuestro método destila la información semántica en los Modelos Fundacionales de Visión (VFM) hacia las trayectorias de flujo directo en la correspondencia de flujos. Y mejoramos aún más la semántica introduciendo una pérdida por reconstrucción de características enmascaradas. Nuestro RecTok logra una reconstrucción de imagen, una calidad de generación y un rendimiento discriminativo superiores. Obtiene resultados de vanguardia en gFID-50K tanto con como sin configuraciones de guía libre de clasificador, manteniendo al mismo tiempo una estructura de espacio latente semánticamente rica. Además, a medida que aumenta la dimensionalidad latente, observamos mejoras consistentes. El código y el modelo están disponibles en https://shi-qingyu.github.io/rectok.github.io.
English
Visual tokenizers play a crucial role in diffusion models. The dimensionality of latent space governs both reconstruction fidelity and the semantic expressiveness of the latent feature. However, a fundamental trade-off is inherent between dimensionality and generation quality, constraining existing methods to low-dimensional latent spaces. Although recent works have leveraged vision foundation models to enrich the semantics of visual tokenizers and accelerate convergence, high-dimensional tokenizers still underperform their low-dimensional counterparts. In this work, we propose RecTok, which overcomes the limitations of high-dimensional visual tokenizers through two key innovations: flow semantic distillation and reconstruction--alignment distillation. Our key insight is to make the forward flow in flow matching semantically rich, which serves as the training space of diffusion transformers, rather than focusing on the latent space as in previous works. Specifically, our method distills the semantic information in VFMs into the forward flow trajectories in flow matching. And we further enhance the semantics by introducing a masked feature reconstruction loss. Our RecTok achieves superior image reconstruction, generation quality, and discriminative performance. It achieves state-of-the-art results on the gFID-50K under both with and without classifier-free guidance settings, while maintaining a semantically rich latent space structure. Furthermore, as the latent dimensionality increases, we observe consistent improvements. Code and model are available at https://shi-qingyu.github.io/rectok.github.io.