MergeVQ: Ein einheitliches Framework für visuelle Generierung und Repräsentation mit entflochtenem Token-Merging und Quantisierung

MergeVQ: A Unified Framework for Visual Generation and Representation with Disentangled Token Merging and Quantization

April 1, 2025

Autoren: Siyuan Li, Luyuan Zhang, Zedong Wang, Juanxi Tian, Cheng Tan, Zicheng Liu, Chang Yu, Qingsong Xie, Haonan Lu, Haoqian Wang, Zhen Lei

cs.AI

Zusammenfassung

Masked Image Modeling (MIM) mit Vector Quantization (VQ) hat sowohl beim selbstüberwachten Vortraining als auch bei der Bildgenerierung große Erfolge erzielt. Die meisten bestehenden Methoden haben jedoch Schwierigkeiten, den Kompromiss im gemeinsamen latenten Raum zwischen Generierungsqualität, Repräsentationslernen und Effizienz zu bewältigen. Um die Grenzen dieses Paradigmas zu erweitern, schlagen wir MergeVQ vor, das Token-Merging-Techniken in VQ-basierte generative Modelle integriert, um die Lücke zwischen Bildgenerierung und visuellem Repräsentationslernen in einer einheitlichen Architektur zu schließen. Während des Vortrainings entkoppelt MergeVQ Top-k-Semantik vom latenten Raum mithilfe des Token-Merge-Moduls nach Self-Attention-Blöcken im Encoder für die anschließende Look-up Free Quantization (LFQ) und globale Ausrichtung und stellt deren feinkörnige Details durch Cross-Attention im Decoder für die Rekonstruktion wieder her. Für die zweistufige Generation führen wir MergeAR ein, das eine KV-Cache-Komprimierung für effiziente Rasterreihenfolge-Vorhersage durchführt. Umfangreiche Experimente auf ImageNet bestätigen, dass MergeVQ als AR-generatives Modell sowohl beim visuellen Repräsentationslernen als auch bei Bildgenerierungsaufgaben wettbewerbsfähige Leistungen erzielt und dabei eine günstige Token-Effizienz und Inferenzgeschwindigkeit beibehält. Der Code und das Modell werden unter https://apexgen-x.github.io/MergeVQ verfügbar sein.

English

Masked Image Modeling (MIM) with Vector Quantization (VQ) has achieved great success in both self-supervised pre-training and image generation. However, most existing methods struggle to address the trade-off in shared latent space for generation quality vs. representation learning and efficiency. To push the limits of this paradigm, we propose MergeVQ, which incorporates token merging techniques into VQ-based generative models to bridge the gap between image generation and visual representation learning in a unified architecture. During pre-training, MergeVQ decouples top-k semantics from latent space with the token merge module after self-attention blocks in the encoder for subsequent Look-up Free Quantization (LFQ) and global alignment and recovers their fine-grained details through cross-attention in the decoder for reconstruction. As for the second-stage generation, we introduce MergeAR, which performs KV Cache compression for efficient raster-order prediction. Extensive experiments on ImageNet verify that MergeVQ as an AR generative model achieves competitive performance in both visual representation learning and image generation tasks while maintaining favorable token efficiency and inference speed. The code and model will be available at https://apexgen-x.github.io/MergeVQ.