RecTok: Reconstrução por Destilação ao Longo do Fluxo Retificado
RecTok: Reconstruction Distillation along Rectified Flow
December 15, 2025
Autores: Qingyu Shi, Size Wu, Jinbin Bai, Kaidong Yu, Yujing Wang, Yunhai Tong, Xiangtai Li, Xuelong Li
cs.AI
Resumo
Os tokenizadores visuais desempenham um papel crucial nos modelos de difusão. A dimensionalidade do espaço latente governa tanto a fidelidade de reconstrução quanto a expressividade semântica da característica latente. No entanto, um compromisso fundamental é inerente entre dimensionalidade e qualidade de geração, restringindo os métodos existentes a espaços latentes de baixa dimensionalidade. Embora trabalhos recentes tenham aproveitado modelos de base visuais para enriquecer a semântica dos tokenizadores visuais e acelerar a convergência, tokenizadores de alta dimensionalidade ainda apresentam desempenho inferior aos seus equivalentes de baixa dimensionalidade. Neste trabalho, propomos o RecTok, que supera as limitações dos tokenizadores visuais de alta dimensionalidade através de duas inovações principais: destilação semântica de fluxo e destilação de alinhamento-reconstrução. Nossa principal percepção é tornar o fluxo direto no *flow matching* semanticamente rico, o que serve como espaço de treinamento dos transformadores de difusão, em vez de focar no espaço latente como em trabalhos anteriores. Especificamente, nosso método destila a informação semântica nos VFMs para as trajetórias de fluxo direto no *flow matching*. E aprimoramos ainda mais a semântica introduzindo uma perda de reconstrução de características mascaradas. Nosso RecTok alcança reconstrução de imagem superior, qualidade de geração e desempenho discriminativo. Ele alcança resultados state-of-the-art no gFID-50K tanto com quanto sem configurações de orientação livre de classificador, mantendo uma estrutura de espaço latente semanticamente rica. Além disso, à medida que a dimensionalidade latente aumenta, observamos melhorias consistentes. Código e modelo estão disponíveis em https://shi-qingyu.github.io/rectok.github.io.
English
Visual tokenizers play a crucial role in diffusion models. The dimensionality of latent space governs both reconstruction fidelity and the semantic expressiveness of the latent feature. However, a fundamental trade-off is inherent between dimensionality and generation quality, constraining existing methods to low-dimensional latent spaces. Although recent works have leveraged vision foundation models to enrich the semantics of visual tokenizers and accelerate convergence, high-dimensional tokenizers still underperform their low-dimensional counterparts. In this work, we propose RecTok, which overcomes the limitations of high-dimensional visual tokenizers through two key innovations: flow semantic distillation and reconstruction--alignment distillation. Our key insight is to make the forward flow in flow matching semantically rich, which serves as the training space of diffusion transformers, rather than focusing on the latent space as in previous works. Specifically, our method distills the semantic information in VFMs into the forward flow trajectories in flow matching. And we further enhance the semantics by introducing a masked feature reconstruction loss. Our RecTok achieves superior image reconstruction, generation quality, and discriminative performance. It achieves state-of-the-art results on the gFID-50K under both with and without classifier-free guidance settings, while maintaining a semantically rich latent space structure. Furthermore, as the latent dimensionality increases, we observe consistent improvements. Code and model are available at https://shi-qingyu.github.io/rectok.github.io.