RecTok: Реконструкционная дистилляция вдоль выпрямленного потока

RecTok: Reconstruction Distillation along Rectified Flow

December 15, 2025

Авторы: Qingyu Shi, Size Wu, Jinbin Bai, Kaidong Yu, Yujing Wang, Yunhai Tong, Xiangtai Li, Xuelong Li

cs.AI

Аннотация

Визуальные токенизаторы играют ключевую роль в диффузионных моделях. Размерность латентного пространства определяет как точность реконструкции, так и семантическую выразительность латентных признаков. Однако между размерностью и качеством генерации существует фундаментальный компромисс, что ограничивает существующие методы низкоразмерными латентными пространствами. Хотя недавние работы используют базовые модели компьютерного зрения для обогащения семантики визуальных токенизаторов и ускорения сходимости, высокоразмерные токенизаторы по-прежнему уступают своим низкоразмерным аналогам. В данной работе мы предлагаем RecTok, который преодолевает ограничения высокоразмерных визуальных токенизаторов за счет двух ключевых инноваций: дистилляции семантики потоков и дистилляции с выравниванием реконструкции. Наше ключевое наблюдение заключается в том, чтобы сделать прямой поток в flow matching семантически насыщенным, что служит пространством обучения для диффузионных трансформеров, вместо фокусировки на латентном пространстве, как в предыдущих работах. Конкретно, наш метод дистиллирует семантическую информацию из VFM в траектории прямого потока в flow matching. Мы дополнительно усиливаем семантику за счет введения потерь на реконструкцию маскированных признаков. Наш RecTok демонстрирует превосходные результаты в реконструкции изображений, качестве генерации и дискриминационной производительности. Он достигает state-of-the-art результатов на gFID-50K как с использованием классификатор-фри гайдинга, так и без него, сохраняя при этом семантически богатую структуру латентного пространства. Более того, при увеличении латентной размерности мы наблюдаем последовательное улучшение показателей. Код и модель доступны по адресу https://shi-qingyu.github.io/rectok.github.io.

English

Visual tokenizers play a crucial role in diffusion models. The dimensionality of latent space governs both reconstruction fidelity and the semantic expressiveness of the latent feature. However, a fundamental trade-off is inherent between dimensionality and generation quality, constraining existing methods to low-dimensional latent spaces. Although recent works have leveraged vision foundation models to enrich the semantics of visual tokenizers and accelerate convergence, high-dimensional tokenizers still underperform their low-dimensional counterparts. In this work, we propose RecTok, which overcomes the limitations of high-dimensional visual tokenizers through two key innovations: flow semantic distillation and reconstruction--alignment distillation. Our key insight is to make the forward flow in flow matching semantically rich, which serves as the training space of diffusion transformers, rather than focusing on the latent space as in previous works. Specifically, our method distills the semantic information in VFMs into the forward flow trajectories in flow matching. And we further enhance the semantics by introducing a masked feature reconstruction loss. Our RecTok achieves superior image reconstruction, generation quality, and discriminative performance. It achieves state-of-the-art results on the gFID-50K under both with and without classifier-free guidance settings, while maintaining a semantically rich latent space structure. Furthermore, as the latent dimensionality increases, we observe consistent improvements. Code and model are available at https://shi-qingyu.github.io/rectok.github.io.