UniTok: Um Tokenizador Unificado para Geração e Compreensão Visual

UniTok: A Unified Tokenizer for Visual Generation and Understanding

February 27, 2025

Autores: Chuofan Ma, Yi Jiang, Junfeng Wu, Jihan Yang, Xin Yu, Zehuan Yuan, Bingyue Peng, Xiaojuan Qi

cs.AI

Resumo

A disparidade de representação entre geração visual e compreensão impõe uma lacuna crítica na integração dessas capacidades em um único framework. Para preencher essa lacuna, apresentamos o UniTok, um tokenizador visual discreto que codifica detalhes refinados para geração, enquanto também captura semântica de alto nível para compreensão. Apesar de estudos recentes terem mostrado que esses objetivos podem induzir conflitos de perda durante o treinamento, revelamos que o gargalo subjacente decorre da capacidade limitada de representação de tokens discretos. Abordamos isso introduzindo a quantização multi-codebook, que divide a quantização vetorial em vários sub-codebooks independentes para expandir o espaço de características latentes, evitando instabilidade de treinamento causada por codebooks muito grandes. Nosso método eleva significativamente o limite superior de tokenizadores discretos unificados para igualar ou até mesmo superar tokenizadores contínuos específicos de domínio. Por exemplo, o UniTok alcança um rFID notável de 0,38 (em comparação com 0,87 para SD-VAE) e uma precisão de zero-shot de 78,6% (em comparação com 76,2% para CLIP) no ImageNet. Nosso código está disponível em https://github.com/FoundationVision/UniTok.

English

The representation disparity between visual generation and understanding imposes a critical gap in integrating these capabilities into a single framework. To bridge this gap, we introduce UniTok, a discrete visual tokenizer that encodes fine-grained details for generation while also capturing high-level semantics for understanding. Despite recent studies have shown that these objectives could induce loss conflicts in training, we reveal that the underlying bottleneck stems from limited representational capacity of discrete tokens. We address this by introducing multi-codebook quantization, which divides vector quantization with several independent sub-codebooks to expand the latent feature space, while avoiding training instability caused by overlarge codebooks. Our method significantly raises the upper limit of unified discrete tokenizers to match or even surpass domain-specific continuous tokenizers. For instance, UniTok achieves a remarkable rFID of 0.38 (versus 0.87 for SD-VAE) and a zero-shot accuracy of 78.6% (versus 76.2% for CLIP) on ImageNet. Our code is available at https://github.com/FoundationVision/UniTok.