UniTok: Un Tokenizer Unificato per la Generazione e la Comprensione Visiva

UniTok: A Unified Tokenizer for Visual Generation and Understanding

February 27, 2025

Autori: Chuofan Ma, Yi Jiang, Junfeng Wu, Jihan Yang, Xin Yu, Zehuan Yuan, Bingyue Peng, Xiaojuan Qi

cs.AI

Abstract

La disparità di rappresentazione tra la generazione visiva e la comprensione impone un divario critico nell'integrazione di queste capacità in un unico framework. Per colmare questo divario, introduciamo UniTok, un tokenizzatore visivo discreto che codifica dettagli fini per la generazione, catturando contemporaneamente semantica di alto livello per la comprensione. Nonostante studi recenti abbiano dimostrato che questi obiettivi potrebbero indurre conflitti di perdita durante l'addestramento, riveliamo che il collo di bottiglia sottostante deriva dalla capacità rappresentativa limitata dei token discreti. Affrontiamo questo problema introducendo la quantizzazione a multi-codebook, che divide la quantizzazione vettoriale con diversi sub-codebook indipendenti per espandere lo spazio delle caratteristiche latenti, evitando al contempo l'instabilità dell'addestramento causata da codebook troppo grandi. Il nostro metodo eleva significativamente il limite superiore dei tokenizzatori discreti unificati, arrivando a eguagliare o addirittura superare i tokenizzatori continui specifici per dominio. Ad esempio, UniTok raggiunge un rFID notevole di 0.38 (contro 0.87 per SD-VAE) e un'accuratezza zero-shot del 78.6% (contro il 76.2% per CLIP) su ImageNet. Il nostro codice è disponibile all'indirizzo https://github.com/FoundationVision/UniTok.

English

The representation disparity between visual generation and understanding imposes a critical gap in integrating these capabilities into a single framework. To bridge this gap, we introduce UniTok, a discrete visual tokenizer that encodes fine-grained details for generation while also capturing high-level semantics for understanding. Despite recent studies have shown that these objectives could induce loss conflicts in training, we reveal that the underlying bottleneck stems from limited representational capacity of discrete tokens. We address this by introducing multi-codebook quantization, which divides vector quantization with several independent sub-codebooks to expand the latent feature space, while avoiding training instability caused by overlarge codebooks. Our method significantly raises the upper limit of unified discrete tokenizers to match or even surpass domain-specific continuous tokenizers. For instance, UniTok achieves a remarkable rFID of 0.38 (versus 0.87 for SD-VAE) and a zero-shot accuracy of 78.6% (versus 76.2% for CLIP) on ImageNet. Our code is available at https://github.com/FoundationVision/UniTok.