MMCORE: Multimodale Verbindung mit repräsentationsausgerichteten latenten Einbettungen
MMCORE: MultiModal COnnection with Representation Aligned Latent Embeddings
April 21, 2026
Autoren: Zijie Li, Yichun Shi, Jingxiang Sun, Ye Wang, Yixuan Huang, Zhiyao Guo, Xiaochen Lian, Peihao Zhu, Yu Tian, Zhonghua Zhai, Peng Wang
cs.AI
Zusammenfassung
Wir stellen MMCORE vor, ein einheitliches Framework für multimodale Bildgenerierung und -bearbeitung. MMCORE nutzt ein vortrainiertes Vision-Language-Modell (VLM), um semantische visuelle Embeddings über lernbare Abfragetoken vorherzusagen, die anschließend als Konditionierungssignale für ein Diffusionsmodell dienen. Dieser schlanke Aufbau überträgt die umfassenden Verstehens- und Reasoning-Fähigkeiten von VLMs effektiv in den visuellen Generierungsprozess. Indem der Bedarf an tiefer Fusion zwischen autoregressiven und Diffusionsmodellen oder Training von Grund auf entfällt, reduziert MMCORE den Rechenaufwand erheblich und bewahrt gleichzeitig eine hochwertige Synthese.
MMCORE integriert Text-zu-Bild-Synthese nahtlos mit verschachtelter Bildgenerierung und demonstriert robustes multimodales Verständnis in komplexen Szenarien wie räumlichem Reasoning und visueller Verankerung. Umfassende Evaluierungen zeigen, dass MMCORE durchgängig state-of-the-art Baseline-Methoden über ein breites Spektrum von Text-zu-Bild- und Einzel-/Mehrfachbild-Bearbeitungsbenchmarks übertrifft.
English
We present MMCORE, a unified framework designed for multimodal image generation and editing. MMCORE leverages a pre-trained Vision-Language Model (VLM) to predict semantic visual embeddings via learnable query tokens, which subsequently serve as conditioning signals for a diffusion model. This streamlined design effectively transfers the rich understanding and reasoning capabilities of VLMs into the visual generation process. By obviating the need for deep fusion between autoregressive and diffusion models or training from scratch, MMCORE significantly reduces computational overhead while maintaining high-fidelity synthesis.
MMCORE seamlessly integrates text-to-image synthesis with interleaved image generation, demonstrating robust multimodal comprehension in complex scenarios such as spatial reasoning and visual grounding. Comprehensive evaluations indicate that MMCORE consistently outperforms state-of-the-art baselines across a broad spectrum of text-to-image and single/multi-image editing benchmarks.