CODA: Reaproveitando VAEs Contínuos para Tokenização Discreta

CODA: Repurposing Continuous VAEs for Discrete Tokenization

March 22, 2025

Autores: Zeyu Liu, Zanlin Ni, Yeguo Hua, Xin Deng, Xiao Ma, Cheng Zhong, Gao Huang

cs.AI

Resumo

Tokenizadores visuais discretos transformam imagens em uma sequência de tokens, permitindo a geração visual baseada em tokens, semelhante aos modelos de linguagem. No entanto, esse processo é intrinsecamente desafiador, pois requer tanto a compressão de sinais visuais em uma representação compacta quanto sua discretização em um conjunto fixo de códigos. Tokenizadores discretos tradicionais geralmente aprendem as duas tarefas em conjunto, o que frequentemente leva a treinamento instável, baixa utilização do codebook e qualidade limitada de reconstrução. Neste artigo, apresentamos o CODA (COntinuous-to-Discrete Adaptation), um framework que desacopla compressão e discretização. Em vez de treinar tokenizadores discretos do zero, o CODA adapta VAEs contínuos pré-treinados — já otimizados para compressão perceptual — em tokenizadores discretos por meio de um processo de discretização cuidadosamente projetado. Ao focar principalmente na discretização, o CODA garante um treinamento estável e eficiente, mantendo a alta fidelidade visual dos VAEs contínuos. Empiricamente, com um orçamento de treinamento 6 vezes menor que o VQGAN padrão, nossa abordagem alcança uma utilização notável de 100% do codebook e FID de reconstrução (rFID) de 0,43 e 1,34 para compressões de 8 vezes e 16 vezes no benchmark ImageNet 256×256.

English

Discrete visual tokenizers transform images into a sequence of tokens, enabling token-based visual generation akin to language models. However, this process is inherently challenging, as it requires both compressing visual signals into a compact representation and discretizing them into a fixed set of codes. Traditional discrete tokenizers typically learn the two tasks jointly, often leading to unstable training, low codebook utilization, and limited reconstruction quality. In this paper, we introduce CODA(COntinuous-to-Discrete Adaptation), a framework that decouples compression and discretization. Instead of training discrete tokenizers from scratch, CODA adapts off-the-shelf continuous VAEs -- already optimized for perceptual compression -- into discrete tokenizers via a carefully designed discretization process. By primarily focusing on discretization, CODA ensures stable and efficient training while retaining the strong visual fidelity of continuous VAEs. Empirically, with 6 times less training budget than standard VQGAN, our approach achieves a remarkable codebook utilization of 100% and notable reconstruction FID (rFID) of 0.43 and 1.34 for 8 times and 16 times compression on ImageNet 256times 256 benchmark.