Overbruggen van continue en discrete tokens voor autoregressieve visuele generatie

Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation

March 20, 2025

Auteurs: Yuqing Wang, Zhijie Lin, Yao Teng, Yuanzhi Zhu, Shuhuai Ren, Jiashi Feng, Xihui Liu

cs.AI

Samenvatting

Autoregressieve visuele generatiemodellen vertrouwen doorgaans op tokenizers om afbeeldingen te comprimeren in tokens die sequentieel kunnen worden voorspeld. Er bestaat een fundamenteel dilemma in tokenrepresentatie: discrete tokens maken eenvoudige modellering mogelijk met standaard kruisentropieverlies, maar lijden onder informatieverlies en instabiliteit tijdens het trainen van de tokenizer; continue tokens behouden visuele details beter, maar vereisen complexe distributiemodellering, wat de generatiepijplijn compliceert. In dit artikel stellen we TokenBridge voor, dat deze kloof overbrugt door de sterke representatiecapaciteit van continue tokens te behouden terwijl de eenvoud van modellering met discrete tokens wordt bewaard. Om dit te bereiken, ontkoppelen we discretisatie van het tokenizertrainingsproces door middel van post-trainingskwantisatie die direct discrete tokens verkrijgt uit continue representaties. Specifiek introduceren we een dimensiegewijze kwantiseringsstrategie die elke kenmerkdimensie onafhankelijk discretiseert, gepaard met een lichtgewicht autoregressief voorspellingsmechanisme dat de resulterende grote tokenruimte efficiënt modelleert. Uitgebreide experimenten tonen aan dat onze aanpak reconstructie- en generatiekwaliteit bereikt die vergelijkbaar is met continue methoden, terwijl standaard categorische voorspelling wordt gebruikt. Dit werk toont aan dat het overbruggen van discrete en continue paradigma's de sterke punten van beide benaderingen effectief kan benutten, wat een veelbelovende richting biedt voor hoogwaardige visuele generatie met eenvoudige autoregressieve modellering. Projectpagina: https://yuqingwang1029.github.io/TokenBridge.

English

Autoregressive visual generation models typically rely on tokenizers to compress images into tokens that can be predicted sequentially. A fundamental dilemma exists in token representation: discrete tokens enable straightforward modeling with standard cross-entropy loss, but suffer from information loss and tokenizer training instability; continuous tokens better preserve visual details, but require complex distribution modeling, complicating the generation pipeline. In this paper, we propose TokenBridge, which bridges this gap by maintaining the strong representation capacity of continuous tokens while preserving the modeling simplicity of discrete tokens. To achieve this, we decouple discretization from the tokenizer training process through post-training quantization that directly obtains discrete tokens from continuous representations. Specifically, we introduce a dimension-wise quantization strategy that independently discretizes each feature dimension, paired with a lightweight autoregressive prediction mechanism that efficiently model the resulting large token space. Extensive experiments show that our approach achieves reconstruction and generation quality on par with continuous methods while using standard categorical prediction. This work demonstrates that bridging discrete and continuous paradigms can effectively harness the strengths of both approaches, providing a promising direction for high-quality visual generation with simple autoregressive modeling. Project page: https://yuqingwang1029.github.io/TokenBridge.