Combler le fossé entre les jetons continus et discrets pour la génération visuelle autorégressive

Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation

March 20, 2025

Auteurs: Yuqing Wang, Zhijie Lin, Yao Teng, Yuanzhi Zhu, Shuhuai Ren, Jiashi Feng, Xihui Liu

cs.AI

Résumé

Les modèles de génération visuelle autoregressive reposent généralement sur des tokenizers pour compresser les images en tokens pouvant être prédits séquentiellement. Un dilemme fondamental existe dans la représentation des tokens : les tokens discrets permettent une modélisation directe avec une perte d'entropie croisée standard, mais souffrent d'une perte d'information et d'une instabilité lors de l'entraînement du tokenizer ; les tokens continus préservent mieux les détails visuels, mais nécessitent une modélisation complexe des distributions, compliquant le pipeline de génération. Dans cet article, nous proposons TokenBridge, qui comble cet écart en maintenant la forte capacité de représentation des tokens continus tout en préservant la simplicité de modélisation des tokens discrets. Pour y parvenir, nous découplons la discrétisation du processus d'entraînement du tokenizer grâce à une quantification post-entraînement qui obtient directement des tokens discrets à partir de représentations continues. Plus précisément, nous introduisons une stratégie de quantification dimensionnelle qui discrétise indépendamment chaque dimension de caractéristique, associée à un mécanisme de prédiction autoregressif léger qui modélise efficacement l'espace de tokens résultant. Des expériences approfondies montrent que notre approche atteint une qualité de reconstruction et de génération comparable aux méthodes continues tout en utilisant une prédiction catégorique standard. Ce travail démontre que combiner les paradigmes discrets et continus peut exploiter efficacement les forces des deux approches, offrant une direction prometteuse pour une génération visuelle de haute qualité avec une modélisation autoregressive simple. Page du projet : https://yuqingwang1029.github.io/TokenBridge.

English

Autoregressive visual generation models typically rely on tokenizers to compress images into tokens that can be predicted sequentially. A fundamental dilemma exists in token representation: discrete tokens enable straightforward modeling with standard cross-entropy loss, but suffer from information loss and tokenizer training instability; continuous tokens better preserve visual details, but require complex distribution modeling, complicating the generation pipeline. In this paper, we propose TokenBridge, which bridges this gap by maintaining the strong representation capacity of continuous tokens while preserving the modeling simplicity of discrete tokens. To achieve this, we decouple discretization from the tokenizer training process through post-training quantization that directly obtains discrete tokens from continuous representations. Specifically, we introduce a dimension-wise quantization strategy that independently discretizes each feature dimension, paired with a lightweight autoregressive prediction mechanism that efficiently model the resulting large token space. Extensive experiments show that our approach achieves reconstruction and generation quality on par with continuous methods while using standard categorical prediction. This work demonstrates that bridging discrete and continuous paradigms can effectively harness the strengths of both approaches, providing a promising direction for high-quality visual generation with simple autoregressive modeling. Project page: https://yuqingwang1029.github.io/TokenBridge.