MergeVQ: Een Uniform Framework voor Visuele Generatie en Representatie met Ontvlochten Token-samenvoeging en Kwantisering

MergeVQ: A Unified Framework for Visual Generation and Representation with Disentangled Token Merging and Quantization

April 1, 2025

Auteurs: Siyuan Li, Luyuan Zhang, Zedong Wang, Juanxi Tian, Cheng Tan, Zicheng Liu, Chang Yu, Qingsong Xie, Haonan Lu, Haoqian Wang, Zhen Lei

cs.AI

Samenvatting

Masked Image Modeling (MIM) met Vector Quantization (VQ) heeft grote successen geboekt in zowel zelfgesuperviseerde voorafgaande training als beeldgeneratie. De meeste bestaande methoden hebben echter moeite om de afweging in gedeelde latente ruimte aan te pakken tussen generatiekwaliteit en representatieleer en efficiëntie. Om de grenzen van dit paradigma te verleggen, stellen we MergeVQ voor, dat token-samenvoegingstechnieken integreert in VQ-gebaseerde generatieve modellen om de kloof tussen beeldgeneratie en visuele representatieleer te overbruggen in een uniforme architectuur. Tijdens de voorafgaande training ontkoppelt MergeVQ top-k semantiek van de latente ruimte met de token-samenvoegmodule na self-attention blokken in de encoder voor daaropvolgende Look-up Free Quantization (LFQ) en globale uitlijning, en herstelt hun fijnmazige details via cross-attention in de decoder voor reconstructie. Voor de tweede fase van generatie introduceren we MergeAR, dat KV Cache-compressie uitvoert voor efficiënte rastervolgorde-voorspelling. Uitgebreide experimenten op ImageNet bevestigen dat MergeVQ als een AR-generatief model competitieve prestaties behaalt in zowel visuele representatieleer als beeldgeneratietaken, terwijl het gunstige token-efficiëntie en inferentiesnelheid behoudt. De code en het model zullen beschikbaar zijn op https://apexgen-x.github.io/MergeVQ.

English

Masked Image Modeling (MIM) with Vector Quantization (VQ) has achieved great success in both self-supervised pre-training and image generation. However, most existing methods struggle to address the trade-off in shared latent space for generation quality vs. representation learning and efficiency. To push the limits of this paradigm, we propose MergeVQ, which incorporates token merging techniques into VQ-based generative models to bridge the gap between image generation and visual representation learning in a unified architecture. During pre-training, MergeVQ decouples top-k semantics from latent space with the token merge module after self-attention blocks in the encoder for subsequent Look-up Free Quantization (LFQ) and global alignment and recovers their fine-grained details through cross-attention in the decoder for reconstruction. As for the second-stage generation, we introduce MergeAR, which performs KV Cache compression for efficient raster-order prediction. Extensive experiments on ImageNet verify that MergeVQ as an AR generative model achieves competitive performance in both visual representation learning and image generation tasks while maintaining favorable token efficiency and inference speed. The code and model will be available at https://apexgen-x.github.io/MergeVQ.