MMCORE: Conexión Multimodal con Incrustaciones Latentes de Representación Alineada
MMCORE: MultiModal COnnection with Representation Aligned Latent Embeddings
April 21, 2026
Autores: Zijie Li, Yichun Shi, Jingxiang Sun, Ye Wang, Yixuan Huang, Zhiyao Guo, Xiaochen Lian, Peihao Zhu, Yu Tian, Zhonghua Zhai, Peng Wang
cs.AI
Resumen
Presentamos MMCORE, un marco unificado diseñado para la generación y edición multimodal de imágenes. MMCORE aprovecha un Modelo de Visión y Lenguaje (VLM) preentrenado para predecir incrustaciones visuales semánticas mediante tokens de consulta aprendibles, que posteriormente sirven como señales de condicionamiento para un modelo de difusión. Este diseño simplificado transfiere eficazmente las ricas capacidades de comprensión y razonamiento de los VLM al proceso de generación visual. Al obviar la necesidad de una fusión profunda entre modelos autoregresivos y de difusión o de un entrenamiento desde cero, MMCORE reduce significativamente la sobrecarga computacional manteniendo una síntesis de alta fidelidad.
MMCORE integra perfectamente la síntesis de texto a imagen con la generación de imágenes entrelazadas, demostrando una comprensión multimodal robusta en escenarios complejos como el razonamiento espacial y la base visual. Evaluaciones exhaustivas indican que MMCORE supera consistentemente a los métodos de referencia más avanzados en una amplia gama de benchmarks de generación de texto a imagen y de edición de imágenes únicas/múltiples.
English
We present MMCORE, a unified framework designed for multimodal image generation and editing. MMCORE leverages a pre-trained Vision-Language Model (VLM) to predict semantic visual embeddings via learnable query tokens, which subsequently serve as conditioning signals for a diffusion model. This streamlined design effectively transfers the rich understanding and reasoning capabilities of VLMs into the visual generation process. By obviating the need for deep fusion between autoregressive and diffusion models or training from scratch, MMCORE significantly reduces computational overhead while maintaining high-fidelity synthesis.
MMCORE seamlessly integrates text-to-image synthesis with interleaved image generation, demonstrating robust multimodal comprehension in complex scenarios such as spatial reasoning and visual grounding. Comprehensive evaluations indicate that MMCORE consistently outperforms state-of-the-art baselines across a broad spectrum of text-to-image and single/multi-image editing benchmarks.