CODA : Réutilisation des VAE continus pour la tokenisation discrète

CODA: Repurposing Continuous VAEs for Discrete Tokenization

March 22, 2025

Auteurs: Zeyu Liu, Zanlin Ni, Yeguo Hua, Xin Deng, Xiao Ma, Cheng Zhong, Gao Huang

cs.AI

Résumé

Les tokeniseurs visuels discrets transforment les images en une séquence de tokens, permettant une génération visuelle basée sur les tokens similaire aux modèles de langage. Cependant, ce processus est intrinsèquement complexe, car il nécessite à la fois de compresser les signaux visuels en une représentation compacte et de les discrétiser en un ensemble fixe de codes. Les tokeniseurs discrets traditionnels apprennent généralement ces deux tâches conjointement, ce qui entraîne souvent un entraînement instable, une faible utilisation du codebook et une qualité de reconstruction limitée. Dans cet article, nous présentons CODA (COntinuous-to-Discrete Adaptation), un cadre qui découple la compression et la discrétisation. Au lieu d'entraîner des tokeniseurs discrets à partir de zéro, CODA adapte des VAEs continus préexistants — déjà optimisés pour la compression perceptuelle — en tokeniseurs discrets via un processus de discrétisation soigneusement conçu. En se concentrant principalement sur la discrétisation, CODA garantit un entraînement stable et efficace tout en conservant la forte fidélité visuelle des VAEs continus. Empiriquement, avec un budget d'entraînement 6 fois inférieur à celui du VQGAN standard, notre approche atteint une utilisation remarquable du codebook de 100 % et des scores FID de reconstruction (rFID) notables de 0,43 et 1,34 pour des compressions de 8 fois et 16 fois sur le benchmark ImageNet 256×256.

English

Discrete visual tokenizers transform images into a sequence of tokens, enabling token-based visual generation akin to language models. However, this process is inherently challenging, as it requires both compressing visual signals into a compact representation and discretizing them into a fixed set of codes. Traditional discrete tokenizers typically learn the two tasks jointly, often leading to unstable training, low codebook utilization, and limited reconstruction quality. In this paper, we introduce CODA(COntinuous-to-Discrete Adaptation), a framework that decouples compression and discretization. Instead of training discrete tokenizers from scratch, CODA adapts off-the-shelf continuous VAEs -- already optimized for perceptual compression -- into discrete tokenizers via a carefully designed discretization process. By primarily focusing on discretization, CODA ensures stable and efficient training while retaining the strong visual fidelity of continuous VAEs. Empirically, with 6 times less training budget than standard VQGAN, our approach achieves a remarkable codebook utilization of 100% and notable reconstruction FID (rFID) of 0.43 and 1.34 for 8 times and 16 times compression on ImageNet 256times 256 benchmark.