RecTok: Ricostruzione e Distillazione lungo Flusso Rettificato

Abstract

I tokenizzatori visivi svolgono un ruolo cruciale nei modelli di diffusione. La dimensionalità dello spazio latente governa sia la fedeltà di ricostruzione che l'espressività semantica della caratteristica latente. Tuttavia, è insito un compromesso fondamentale tra dimensionalità e qualità della generazione, che costringe i metodi esistenti a spazi latenti a bassa dimensionalità. Sebbene lavori recenti abbiano sfruttato modelli fondazione visivi per arricchire la semantica dei tokenizzatori visivi e accelerare la convergenza, i tokenizzatori ad alta dimensionalità continuano a ottenere prestazioni inferiori rispetto alle loro controparti a bassa dimensionalità. In questo lavoro, proponiamo RecTok, che supera i limiti dei tokenizzatori visivi ad alta dimensionalità attraverso due innovazioni chiave: la distillazione semantica di flusso e la distillazione allineamento-ricostruzione. La nostra intuizione chiave è rendere semanticamente ricco il flusso in avanti nel flow matching, che funge da spazio di addestramento per i transformer di diffusione, piuttosto che concentrarsi sullo spazio latente come nei lavori precedenti. Nello specifico, il nostro metodo distilla le informazioni semantiche dei VFM nelle traiettorie di flusso in avanti nel flow matching. E miglioriamo ulteriormente la semantica introducendo una perdita di ricostruzione delle caratteristiche mascherate. Il nostro RecTok raggiunge una ricostruzione dell'immagine, una qualità di generazione e prestazioni discriminative superiori. Ottiene risultati all'avanguardia sul gFID-50K sia in configurazioni con che senza guida classifier-free, mantenendo al contempo una struttura dello spazio latente semanticamente ricca. Inoltre, all'aumentare della dimensionalità latente, osserviamo miglioramenti consistenti. Codice e modello sono disponibili su https://shi-qingyu.github.io/rectok.github.io.

English

Visual tokenizers play a crucial role in diffusion models. The dimensionality of latent space governs both reconstruction fidelity and the semantic expressiveness of the latent feature. However, a fundamental trade-off is inherent between dimensionality and generation quality, constraining existing methods to low-dimensional latent spaces. Although recent works have leveraged vision foundation models to enrich the semantics of visual tokenizers and accelerate convergence, high-dimensional tokenizers still underperform their low-dimensional counterparts. In this work, we propose RecTok, which overcomes the limitations of high-dimensional visual tokenizers through two key innovations: flow semantic distillation and reconstruction--alignment distillation. Our key insight is to make the forward flow in flow matching semantically rich, which serves as the training space of diffusion transformers, rather than focusing on the latent space as in previous works. Specifically, our method distills the semantic information in VFMs into the forward flow trajectories in flow matching. And we further enhance the semantics by introducing a masked feature reconstruction loss. Our RecTok achieves superior image reconstruction, generation quality, and discriminative performance. It achieves state-of-the-art results on the gFID-50K under both with and without classifier-free guidance settings, while maintaining a semantically rich latent space structure. Furthermore, as the latent dimensionality increases, we observe consistent improvements. Code and model are available at https://shi-qingyu.github.io/rectok.github.io.

RecTok: Ricostruzione e Distillazione lungo Flusso Rettificato

RecTok: Reconstruction Distillation along Rectified Flow

Abstract

Support