CODA: Перепрофилирование непрерывных вариационных автокодировщиков для дискретной токенизации

CODA: Repurposing Continuous VAEs for Discrete Tokenization

March 22, 2025

Авторы: Zeyu Liu, Zanlin Ni, Yeguo Hua, Xin Deng, Xiao Ma, Cheng Zhong, Gao Huang

cs.AI

Аннотация

Дискретные визуальные токенизаторы преобразуют изображения в последовательность токенов, что позволяет осуществлять генерацию изображений на основе токенов, аналогично языковым моделям. Однако этот процесс изначально сложен, так как требует как сжатия визуальных сигналов в компактное представление, так и их дискретизации в фиксированный набор кодов. Традиционные дискретные токенизаторы обычно обучают эти две задачи совместно, что часто приводит к нестабильному обучению, низкой загрузке кодовой книги и ограниченному качеству реконструкции. В данной работе мы представляем CODA (COntinuous-to-Discrete Adaptation) — фреймворк, который разделяет сжатие и дискретизацию. Вместо обучения дискретных токенизаторов с нуля, CODA адаптирует готовые непрерывные VAE (вариационные автоэнкодеры), уже оптимизированные для перцептуального сжатия, в дискретные токенизаторы с помощью тщательно разработанного процесса дискретизации. Основное внимание уделяя дискретизации, CODA обеспечивает стабильное и эффективное обучение, сохраняя при этом высокую визуальную точность непрерывных VAE. Экспериментально, при бюджете обучения в 6 раз меньше, чем у стандартного VQGAN, наш подход достигает впечатляющей загрузки кодовой книги в 100% и значительных показателей реконструкции FID (rFID) 0.43 и 1.34 для сжатия в 8 и 16 раз на бенчмарке ImageNet 256×256.

English

Discrete visual tokenizers transform images into a sequence of tokens, enabling token-based visual generation akin to language models. However, this process is inherently challenging, as it requires both compressing visual signals into a compact representation and discretizing them into a fixed set of codes. Traditional discrete tokenizers typically learn the two tasks jointly, often leading to unstable training, low codebook utilization, and limited reconstruction quality. In this paper, we introduce CODA(COntinuous-to-Discrete Adaptation), a framework that decouples compression and discretization. Instead of training discrete tokenizers from scratch, CODA adapts off-the-shelf continuous VAEs -- already optimized for perceptual compression -- into discrete tokenizers via a carefully designed discretization process. By primarily focusing on discretization, CODA ensures stable and efficient training while retaining the strong visual fidelity of continuous VAEs. Empirically, with 6 times less training budget than standard VQGAN, our approach achieves a remarkable codebook utilization of 100% and notable reconstruction FID (rFID) of 0.43 and 1.34 for 8 times and 16 times compression on ImageNet 256times 256 benchmark.