UniTok : Un Tokenizer Unifié pour la Génération et la Compréhension Visuelle

UniTok: A Unified Tokenizer for Visual Generation and Understanding

February 27, 2025

Auteurs: Chuofan Ma, Yi Jiang, Junfeng Wu, Jihan Yang, Xin Yu, Zehuan Yuan, Bingyue Peng, Xiaojuan Qi

cs.AI

Résumé

La disparité de représentation entre la génération visuelle et la compréhension impose un écart critique dans l'intégration de ces capacités au sein d'un cadre unique. Pour combler cet écart, nous introduisons UniTok, un tokeniseur visuel discret qui encode des détails fins pour la génération tout en capturant des sémantiques de haut niveau pour la compréhension. Bien que des études récentes aient montré que ces objectifs pourraient induire des conflits de perte lors de l'entraînement, nous révélons que le goulot d'étranglement sous-jacent provient de la capacité de représentation limitée des tokens discrets. Nous abordons ce problème en introduisant une quantification multi-codebook, qui divise la quantification vectorielle en plusieurs sous-codebooks indépendants pour étendre l'espace des caractéristiques latentes, tout en évitant l'instabilité de l'entraînement causée par des codebooks trop volumineux. Notre méthode augmente significativement la limite supérieure des tokeniseurs discrets unifiés pour égaler ou même surpasser les tokeniseurs continus spécifiques à un domaine. Par exemple, UniTok atteint un rFID remarquable de 0,38 (contre 0,87 pour SD-VAE) et une précision en zero-shot de 78,6 % (contre 76,2 % pour CLIP) sur ImageNet. Notre code est disponible à l'adresse https://github.com/FoundationVision/UniTok.

English

The representation disparity between visual generation and understanding imposes a critical gap in integrating these capabilities into a single framework. To bridge this gap, we introduce UniTok, a discrete visual tokenizer that encodes fine-grained details for generation while also capturing high-level semantics for understanding. Despite recent studies have shown that these objectives could induce loss conflicts in training, we reveal that the underlying bottleneck stems from limited representational capacity of discrete tokens. We address this by introducing multi-codebook quantization, which divides vector quantization with several independent sub-codebooks to expand the latent feature space, while avoiding training instability caused by overlarge codebooks. Our method significantly raises the upper limit of unified discrete tokenizers to match or even surpass domain-specific continuous tokenizers. For instance, UniTok achieves a remarkable rFID of 0.38 (versus 0.87 for SD-VAE) and a zero-shot accuracy of 78.6% (versus 76.2% for CLIP) on ImageNet. Our code is available at https://github.com/FoundationVision/UniTok.