Соединение непрерывных и дискретных токенов для авторегрессивной генерации визуальных данных

Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation

March 20, 2025

Авторы: Yuqing Wang, Zhijie Lin, Yao Teng, Yuanzhi Zhu, Shuhuai Ren, Jiashi Feng, Xihui Liu

cs.AI

Аннотация

Авторегрессионные модели визуальной генерации обычно полагаются на токенизаторы для сжатия изображений в токены, которые могут быть предсказаны последовательно. Существует фундаментальная дилемма в представлении токенов: дискретные токены позволяют простое моделирование с использованием стандартной кросс-энтропийной функции потерь, но страдают от потери информации и нестабильности обучения токенизатора; непрерывные токены лучше сохраняют визуальные детали, но требуют сложного моделирования распределений, что усложняет процесс генерации. В данной работе мы предлагаем TokenBridge, который устраняет этот разрыв, сохраняя мощную способность представления непрерывных токенов при этом поддерживая простоту моделирования дискретных токенов. Для достижения этого мы разделяем процесс дискретизации и обучения токенизатора через пост-обученную квантование, которая напрямую получает дискретные токены из непрерывных представлений. В частности, мы вводим стратегию покомпонентного квантования, которая независимо дискретизирует каждую размерность признаков, в сочетании с легковесным авторегрессионным механизмом предсказания, эффективно моделирующим получившееся большое пространство токенов. Многочисленные эксперименты показывают, что наш подход достигает качества реконструкции и генерации на уровне непрерывных методов, используя стандартное категориальное предсказание. Эта работа демонстрирует, что объединение дискретных и непрерывных парадигм может эффективно использовать преимущества обоих подходов, предоставляя перспективное направление для высококачественной визуальной генерации с простым авторегрессионным моделированием. Страница проекта: https://yuqingwang1029.github.io/TokenBridge.

English

Autoregressive visual generation models typically rely on tokenizers to compress images into tokens that can be predicted sequentially. A fundamental dilemma exists in token representation: discrete tokens enable straightforward modeling with standard cross-entropy loss, but suffer from information loss and tokenizer training instability; continuous tokens better preserve visual details, but require complex distribution modeling, complicating the generation pipeline. In this paper, we propose TokenBridge, which bridges this gap by maintaining the strong representation capacity of continuous tokens while preserving the modeling simplicity of discrete tokens. To achieve this, we decouple discretization from the tokenizer training process through post-training quantization that directly obtains discrete tokens from continuous representations. Specifically, we introduce a dimension-wise quantization strategy that independently discretizes each feature dimension, paired with a lightweight autoregressive prediction mechanism that efficiently model the resulting large token space. Extensive experiments show that our approach achieves reconstruction and generation quality on par with continuous methods while using standard categorical prediction. This work demonstrates that bridging discrete and continuous paradigms can effectively harness the strengths of both approaches, providing a promising direction for high-quality visual generation with simple autoregressive modeling. Project page: https://yuqingwang1029.github.io/TokenBridge.