MMCORE: Многомодальное соединение с выровненными по представлению латентными вложениями
MMCORE: MultiModal COnnection with Representation Aligned Latent Embeddings
April 21, 2026
Авторы: Zijie Li, Yichun Shi, Jingxiang Sun, Ye Wang, Yixuan Huang, Zhiyao Guo, Xiaochen Lian, Peihao Zhu, Yu Tian, Zhonghua Zhai, Peng Wang
cs.AI
Аннотация
Мы представляем MMCORE — унифицированную платформу, предназначенную для мультимодальной генерации и редактирования изображений. MMCORE использует предварительно обученную визуально-языковую модель (VLM) для прогнозирования семантических визуальных эмбеддингов с помощью обучаемых токенов-запросов, которые впоследствии служат управляющими сигналами для диффузионной модели. Эта оптимизированная конструкция эффективно переносит богатые возможности понимания и логического вывода VLM в процесс визуальной генерации. Устраняя необходимость глубокого слияния авторегрессивных и диффузионных моделей или обучения с нуля, MMCORE значительно снижает вычислительные затраты при сохранении синтеза высокой точности.
MMCORE бесшовно интегрирует синтез изображений по тексту с чередующейся генерацией изображений, демонстрируя надежное мультимодальное понимание в сложных сценариях, таких как пространственные рассуждения и визуальная привязка. Комплексные оценки показывают, что MMCORE стабильно превосходит современные базовые методы в широком спектре тестов по генерации изображений по тексту и редактированию одиночных/множественных изображений.
English
We present MMCORE, a unified framework designed for multimodal image generation and editing. MMCORE leverages a pre-trained Vision-Language Model (VLM) to predict semantic visual embeddings via learnable query tokens, which subsequently serve as conditioning signals for a diffusion model. This streamlined design effectively transfers the rich understanding and reasoning capabilities of VLMs into the visual generation process. By obviating the need for deep fusion between autoregressive and diffusion models or training from scratch, MMCORE significantly reduces computational overhead while maintaining high-fidelity synthesis.
MMCORE seamlessly integrates text-to-image synthesis with interleaved image generation, demonstrating robust multimodal comprehension in complex scenarios such as spatial reasoning and visual grounding. Comprehensive evaluations indicate that MMCORE consistently outperforms state-of-the-art baselines across a broad spectrum of text-to-image and single/multi-image editing benchmarks.