MMCORE: Multimodale Connectie met Uitgelijnde Latente Representatie-Embeddings
MMCORE: MultiModal COnnection with Representation Aligned Latent Embeddings
April 21, 2026
Auteurs: Zijie Li, Yichun Shi, Jingxiang Sun, Ye Wang, Yixuan Huang, Zhiyao Guo, Xiaochen Lian, Peihao Zhu, Yu Tian, Zhonghua Zhai, Peng Wang
cs.AI
Samenvatting
Wij presenteren MMCORE, een uniform raamwerk ontworpen voor multimodale beeldgeneratie en -bewerking. MMCORE benut een vooraf getraind Vision-Language Model (VLM) om semantische visuele embeddings te voorspellen via leerbare querytokens, die vervolgens als conditioneringssignalen dienen voor een diffusiemodel. Dit gestroomlijnde ontwerp transfereert effectief het rijke begrip en de redeneercapaciteiten van VLMs naar het visuele generatieproces. Door de noodzaak van diepe fusie tussen autoregressieve en diffusiemodellen of training vanaf nul te omzeilen, vermindert MMCORE de rekenkosten aanzienlijk terwijl hoogwaardige synthese behouden blijft.
MMCORE integreert naadloos tekst-naar-beeld synthese met intergelegeerde beeldgeneratie, en demonstreert robuuste multimodale begripsvaardigheid in complexe scenario's zoals ruimtelijk redeneren en visuele verankering. Uitgebreide evaluaties tonen aan dat MMCORE consistent state-of-the-art baselines overtreft op een breed spectrum van tekst-naar-beeld en enkel-/meervoudige beeldbewerkingsbenchmarks.
English
We present MMCORE, a unified framework designed for multimodal image generation and editing. MMCORE leverages a pre-trained Vision-Language Model (VLM) to predict semantic visual embeddings via learnable query tokens, which subsequently serve as conditioning signals for a diffusion model. This streamlined design effectively transfers the rich understanding and reasoning capabilities of VLMs into the visual generation process. By obviating the need for deep fusion between autoregressive and diffusion models or training from scratch, MMCORE significantly reduces computational overhead while maintaining high-fidelity synthesis.
MMCORE seamlessly integrates text-to-image synthesis with interleaved image generation, demonstrating robust multimodal comprehension in complex scenarios such as spatial reasoning and visual grounding. Comprehensive evaluations indicate that MMCORE consistently outperforms state-of-the-art baselines across a broad spectrum of text-to-image and single/multi-image editing benchmarks.