MMCORE: Connessione Multimodale con Embedding Latenti a Rappresentazione Allineata
MMCORE: MultiModal COnnection with Representation Aligned Latent Embeddings
April 21, 2026
Autori: Zijie Li, Yichun Shi, Jingxiang Sun, Ye Wang, Yixuan Huang, Zhiyao Guo, Xiaochen Lian, Peihao Zhu, Yu Tian, Zhonghua Zhai, Peng Wang
cs.AI
Abstract
Presentiamo MMCORE, un framework unificato progettato per la generazione e l'editing multimodale di immagini. MMCORE sfrutta un Modello Visione-Linguaggio (VLM) pre-addestrato per prevedere incorporamenti visivi semantici tramite token di query apprendibili, che fungono successivamente da segnali di condizionamento per un modello di diffusione. Questa progettazione semplificata trasferisce efficacemente le ricche capacità di comprensione e ragionamento dei VLM nel processo di generazione visiva. Eliminando la necessità di una fusione profonda tra modelli autoregressivi e di diffusione o di un addestramento da zero, MMCORE riduce significativamente il sovraccarico computazionale mantenendo una sintesi di alta fedeltà.
MMCORE integra perfettamente la sintesi testo-immagine con la generazione intervallata di immagini, dimostrando una solida comprensione multimodale in scenari complessi come il ragionamento spaziale e il grounding visivo. Valutazioni complete indicano che MMCORE supera costantemente i benchmark più avanzati in un'ampia gamma di benchmark per la generazione da testo e per l'editing di immagini singole o multiple.
English
We present MMCORE, a unified framework designed for multimodal image generation and editing. MMCORE leverages a pre-trained Vision-Language Model (VLM) to predict semantic visual embeddings via learnable query tokens, which subsequently serve as conditioning signals for a diffusion model. This streamlined design effectively transfers the rich understanding and reasoning capabilities of VLMs into the visual generation process. By obviating the need for deep fusion between autoregressive and diffusion models or training from scratch, MMCORE significantly reduces computational overhead while maintaining high-fidelity synthesis.
MMCORE seamlessly integrates text-to-image synthesis with interleaved image generation, demonstrating robust multimodal comprehension in complex scenarios such as spatial reasoning and visual grounding. Comprehensive evaluations indicate that MMCORE consistently outperforms state-of-the-art baselines across a broad spectrum of text-to-image and single/multi-image editing benchmarks.