Conectando Tokens Contínuos e Discretos para Geração Visual Autoregressiva

Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation

March 20, 2025

Autores: Yuqing Wang, Zhijie Lin, Yao Teng, Yuanzhi Zhu, Shuhuai Ren, Jiashi Feng, Xihui Liu

cs.AI

Resumo

Modelos de geração visual autoregressivos normalmente dependem de tokenizadores para comprimir imagens em tokens que podem ser previstos sequencialmente. Um dilema fundamental existe na representação de tokens: tokens discretos permitem modelagem direta com perda de entropia cruzada padrão, mas sofrem com perda de informação e instabilidade no treinamento do tokenizador; tokens contínuos preservam melhor os detalhes visuais, mas exigem modelagem complexa de distribuição, complicando o pipeline de geração. Neste artigo, propomos o TokenBridge, que preenche essa lacuna mantendo a forte capacidade de representação dos tokens contínuos enquanto preserva a simplicidade de modelagem dos tokens discretos. Para alcançar isso, desacoplamos a discretização do processo de treinamento do tokenizador por meio de quantização pós-treinamento que obtém diretamente tokens discretos a partir de representações contínuas. Especificamente, introduzimos uma estratégia de quantização por dimensão que discretiza independentemente cada dimensão de característica, emparelhada com um mecanismo de previsão autoregressivo leve que modela eficientemente o grande espaço de tokens resultante. Experimentos extensivos mostram que nossa abordagem alcança qualidade de reconstrução e geração comparável a métodos contínuos enquanto utiliza previsão categórica padrão. Este trabalho demonstra que unir paradigmas discretos e contínuos pode efetivamente aproveitar os pontos fortes de ambas as abordagens, fornecendo uma direção promissora para geração visual de alta qualidade com modelagem autoregressiva simples. Página do projeto: https://yuqingwang1029.github.io/TokenBridge.

English

Autoregressive visual generation models typically rely on tokenizers to compress images into tokens that can be predicted sequentially. A fundamental dilemma exists in token representation: discrete tokens enable straightforward modeling with standard cross-entropy loss, but suffer from information loss and tokenizer training instability; continuous tokens better preserve visual details, but require complex distribution modeling, complicating the generation pipeline. In this paper, we propose TokenBridge, which bridges this gap by maintaining the strong representation capacity of continuous tokens while preserving the modeling simplicity of discrete tokens. To achieve this, we decouple discretization from the tokenizer training process through post-training quantization that directly obtains discrete tokens from continuous representations. Specifically, we introduce a dimension-wise quantization strategy that independently discretizes each feature dimension, paired with a lightweight autoregressive prediction mechanism that efficiently model the resulting large token space. Extensive experiments show that our approach achieves reconstruction and generation quality on par with continuous methods while using standard categorical prediction. This work demonstrates that bridging discrete and continuous paradigms can effectively harness the strengths of both approaches, providing a promising direction for high-quality visual generation with simple autoregressive modeling. Project page: https://yuqingwang1029.github.io/TokenBridge.