UniTok: 視覚生成と理解のための統一トークナイザー

UniTok: A Unified Tokenizer for Visual Generation and Understanding

February 27, 2025

著者: Chuofan Ma, Yi Jiang, Junfeng Wu, Jihan Yang, Xin Yu, Zehuan Yuan, Bingyue Peng, Xiaojuan Qi

cs.AI

要旨

視覚生成と理解の間の表現格差は、これらの能力を単一のフレームワークに統合する上で重大なギャップを生んでいます。このギャップを埋めるため、私たちはUniTokを導入しました。これは、生成のための細かな詳細をエンコードしつつ、理解のための高レベルの意味を捉える離散的な視覚トークナイザーです。最近の研究では、これらの目的がトレーニング中の損失の衝突を引き起こす可能性が示されていますが、私たちはその根本的なボトルネックが離散トークンの表現能力の限界にあることを明らかにしました。これを解決するため、複数の独立したサブコードブックでベクトル量子化を分割するマルチコードブック量子化を導入し、潜在特徴空間を拡張しながら、過大なコードブックによるトレーニングの不安定性を回避しました。私たちの手法は、統一された離散トークナイザーの上限を大幅に引き上げ、ドメイン固有の連続トークナイザーに匹敵し、あるいはそれを上回る性能を達成します。例えば、UniTokはImageNetにおいて、0.38のrFID（SD-VAEの0.87に対して）と78.6%のゼロショット精度（CLIPの76.2%に対して）を達成しました。私たちのコードはhttps://github.com/FoundationVision/UniTokで公開されています。

English

The representation disparity between visual generation and understanding imposes a critical gap in integrating these capabilities into a single framework. To bridge this gap, we introduce UniTok, a discrete visual tokenizer that encodes fine-grained details for generation while also capturing high-level semantics for understanding. Despite recent studies have shown that these objectives could induce loss conflicts in training, we reveal that the underlying bottleneck stems from limited representational capacity of discrete tokens. We address this by introducing multi-codebook quantization, which divides vector quantization with several independent sub-codebooks to expand the latent feature space, while avoiding training instability caused by overlarge codebooks. Our method significantly raises the upper limit of unified discrete tokenizers to match or even surpass domain-specific continuous tokenizers. For instance, UniTok achieves a remarkable rFID of 0.38 (versus 0.87 for SD-VAE) and a zero-shot accuracy of 78.6% (versus 76.2% for CLIP) on ImageNet. Our code is available at https://github.com/FoundationVision/UniTok.