MergeVQ: Um Framework Unificado para Geração e Representação Visual com Fusão e Quantização de Tokens Desacoplados

MergeVQ: A Unified Framework for Visual Generation and Representation with Disentangled Token Merging and Quantization

April 1, 2025

Autores: Siyuan Li, Luyuan Zhang, Zedong Wang, Juanxi Tian, Cheng Tan, Zicheng Liu, Chang Yu, Qingsong Xie, Haonan Lu, Haoqian Wang, Zhen Lei

cs.AI

Resumo

A Modelagem de Imagem Mascarada (MIM) com Quantização Vetorial (VQ) tem alcançado grande sucesso tanto no pré-treinamento auto-supervisionado quanto na geração de imagens. No entanto, a maioria dos métodos existentes enfrenta dificuldades para equilibrar a qualidade de geração versus o aprendizado de representação e a eficiência em um espaço latente compartilhado. Para superar os limites desse paradigma, propomos o MergeVQ, que incorpora técnicas de fusão de tokens em modelos generativos baseados em VQ para preencher a lacuna entre a geração de imagens e o aprendizado de representação visual em uma arquitetura unificada. Durante o pré-treinamento, o MergeVQ desacopla a semântica top-k do espaço latente com o módulo de fusão de tokens após os blocos de auto-atenção no codificador, permitindo a Quantização Livre de Consulta (LFQ) e o alinhamento global, e recupera os detalhes refinados por meio de atenção cruzada no decodificador para reconstrução. Para a geração na segunda etapa, introduzimos o MergeAR, que realiza a compressão do Cache KV para previsão eficiente em ordem raster. Experimentos extensivos no ImageNet comprovam que o MergeVQ, como modelo generativo AR, alcança desempenho competitivo tanto em tarefas de aprendizado de representação visual quanto na geração de imagens, mantendo uma eficiência de tokens e velocidade de inferência favoráveis. O código e o modelo estarão disponíveis em https://apexgen-x.github.io/MergeVQ.

English

Masked Image Modeling (MIM) with Vector Quantization (VQ) has achieved great success in both self-supervised pre-training and image generation. However, most existing methods struggle to address the trade-off in shared latent space for generation quality vs. representation learning and efficiency. To push the limits of this paradigm, we propose MergeVQ, which incorporates token merging techniques into VQ-based generative models to bridge the gap between image generation and visual representation learning in a unified architecture. During pre-training, MergeVQ decouples top-k semantics from latent space with the token merge module after self-attention blocks in the encoder for subsequent Look-up Free Quantization (LFQ) and global alignment and recovers their fine-grained details through cross-attention in the decoder for reconstruction. As for the second-stage generation, we introduce MergeAR, which performs KV Cache compression for efficient raster-order prediction. Extensive experiments on ImageNet verify that MergeVQ as an AR generative model achieves competitive performance in both visual representation learning and image generation tasks while maintaining favorable token efficiency and inference speed. The code and model will be available at https://apexgen-x.github.io/MergeVQ.