Факторизованная визуальная токенизация и генерация

Factorized Visual Tokenization and Generation

November 25, 2024

Авторы: Zechen Bai, Jianxiong Gao, Ziteng Gao, Pichao Wang, Zheng Zhang, Tong He, Mike Zheng Shou

cs.AI

Аннотация

Визуальные токенизаторы являются фундаментальными для генерации изображений. Они преобразуют визуальные данные в дискретные токены, позволяя моделям на основе трансформеров превосходно справляться с генерацией изображений. Несмотря на свой успех, токенизаторы на основе VQ, такие как VQGAN, сталкиваются с значительными ограничениями из-за ограниченного размера словаря. Простое расширение кодовой книги часто приводит к нестабильности обучения и уменьшению прироста производительности, что делает масштабируемость критической проблемой. В данной работе мы представляем Факторизованную Квантизацию (FQ), новый подход, который оживляет токенизаторы на основе VQ путем декомпозиции большой кодовой книги на несколько независимых подкодовых книг. Эта факторизация снижает сложность поиска в больших кодовых книгах, обеспечивая более эффективную и масштабируемую визуальную токенизацию. Для того чтобы гарантировать, что каждая подкодовая книга захватывает различную и дополняющую информацию, мы предлагаем регуляризацию деконволюции, которая явно снижает избыточность, способствуя разнообразию среди подкодовых книг. Более того, мы интегрируем обучение представлений в процесс обучения, используя предварительно обученные модели зрения, такие как CLIP и DINO, чтобы внедрить семантическое богатство в изученные представления. Этот дизайн гарантирует, что наш токенизатор захватывает различные семантические уровни, что приводит к более выразительным и деконволюционным представлениям. Эксперименты показывают, что предложенная модель FQGAN значительно улучшает качество восстановления визуальных токенизаторов, достигая передовой производительности. Мы также демонстрируем, что этот токенизатор может быть эффективно адаптирован для авторегрессивной генерации изображений. https://showlab.github.io/FQGAN

English

Visual tokenizers are fundamental to image generation. They convert visual data into discrete tokens, enabling transformer-based models to excel at image generation. Despite their success, VQ-based tokenizers like VQGAN face significant limitations due to constrained vocabulary sizes. Simply expanding the codebook often leads to training instability and diminishing performance gains, making scalability a critical challenge. In this work, we introduce Factorized Quantization (FQ), a novel approach that revitalizes VQ-based tokenizers by decomposing a large codebook into multiple independent sub-codebooks. This factorization reduces the lookup complexity of large codebooks, enabling more efficient and scalable visual tokenization. To ensure each sub-codebook captures distinct and complementary information, we propose a disentanglement regularization that explicitly reduces redundancy, promoting diversity across the sub-codebooks. Furthermore, we integrate representation learning into the training process, leveraging pretrained vision models like CLIP and DINO to infuse semantic richness into the learned representations. This design ensures our tokenizer captures diverse semantic levels, leading to more expressive and disentangled representations. Experiments show that the proposed FQGAN model substantially improves the reconstruction quality of visual tokenizers, achieving state-of-the-art performance. We further demonstrate that this tokenizer can be effectively adapted into auto-regressive image generation. https://showlab.github.io/FQGAN