MMCORE : Connexions MultiModales avec des Représentations Alignées d'Embeddings Latents
MMCORE: MultiModal COnnection with Representation Aligned Latent Embeddings
April 21, 2026
Auteurs: Zijie Li, Yichun Shi, Jingxiang Sun, Ye Wang, Yixuan Huang, Zhiyao Guo, Xiaochen Lian, Peihao Zhu, Yu Tian, Zhonghua Zhai, Peng Wang
cs.AI
Résumé
Nous présentons MMCORE, un cadre unifié conçu pour la génération et l'édition d'images multimodales. MMCORE exploite un modèle vision-langage (VLM) pré-entraîné pour prédire des embeddings visuels sémantiques via des tokens d'interrogation apprenables, qui servent ensuite de signaux de conditionnement pour un modèle de diffusion. Cette conception rationalisée transfère efficacement les riches capacités de compréhension et de raisonnement des VLM dans le processus de génération visuelle. En éliminant le besoin de fusion profonde entre les modèles autogressifs et les modèles de diffusion ou d'un apprentissage à partir de zéro, MMCORE réduit considérablement la charge computationnelle tout en maintenant une synthèse de haute fidélité.
MMCORE intègre de manière transparente la synthèse texte-image avec la génération d'images entrelacées, démontrant une compréhension multimodale robuste dans des scénarios complexes tels que le raisonnement spatial et l'ancrage visuel. Des évaluations approfondies indiquent que MMCORE surpasse constamment les méthodes de référence les plus avancées sur un large éventail de benchmarks de génération texte-image et d'édition d'image unique/multiple.
English
We present MMCORE, a unified framework designed for multimodal image generation and editing. MMCORE leverages a pre-trained Vision-Language Model (VLM) to predict semantic visual embeddings via learnable query tokens, which subsequently serve as conditioning signals for a diffusion model. This streamlined design effectively transfers the rich understanding and reasoning capabilities of VLMs into the visual generation process. By obviating the need for deep fusion between autoregressive and diffusion models or training from scratch, MMCORE significantly reduces computational overhead while maintaining high-fidelity synthesis.
MMCORE seamlessly integrates text-to-image synthesis with interleaved image generation, demonstrating robust multimodal comprehension in complex scenarios such as spatial reasoning and visual grounding. Comprehensive evaluations indicate that MMCORE consistently outperforms state-of-the-art baselines across a broad spectrum of text-to-image and single/multi-image editing benchmarks.