EMMA: Эффективное многомодальное понимание, генерация и редактирование в единой архитектуре

EMMA: Efficient Multimodal Understanding, Generation, and Editing with a Unified Architecture

December 4, 2025

Авторы: Xin He, Longhui Wei, Jianbo Ouyang, Lingxi Xie, Qi Tian

cs.AI

Аннотация

Мы представляем EMMA — эффективную и унифицированную архитектуру для мультимодального понимания, генерации и редактирования. В частности, EMMA включает: 1) Эффективный автоэнкодер со степенью сжатия 32x, который значительно сокращает количество токенов, необходимых для генерации. Это также обеспечивает баланс обучения между задачами понимания и генерации за счёт применения одинаковой степени сжатия к изображениям. 2) Поэлементную конкатенацию по каналам вместо покомпонентной конкатенации токенов визуального понимания и генерации, что дополнительно сокращает количество визуальных токенов в унифицированных архитектурах. 3) Совместно-раздельную сеть, которая позволяет достигать взаимного улучшения между задачами при соблюдении специфических требований к моделированию. 4) Механизм смеси экспертов, применяемый в энкодере визуального понимания, который существенно улучшает перцептивные возможности при незначительном увеличении параметров. Многочисленные эксперименты показали, что EMMA-4B значительно превосходит современные унифицированные мультимодальные подходы (например, BAGEL-7B) как по эффективности, так и по производительности, одновременно достигая конкурентоспособных результатов по сравнению с последними экспертами в области мультимодального понимания и генерации (например, Qwen3-VL и Qwen-Image). Мы считаем, что EMMA закладывает прочную основу для будущего развития унифицированных мультимодальных архитектур.

English

We propose EMMA, an efficient and unified architecture for multimodal understanding, generation and editing. Specifically, EMMA primarily consists of 1) An efficient autoencoder with a 32x compression ratio, which significantly reduces the number of tokens required for generation. This also ensures the training balance between understanding and generation tasks by applying the same compression ratio to images. 2) Channel-wise concatenation instead of token-wise concatenation among visual understanding and generation tokens, which further reduces the visual tokens in unified architectures. 3) A shared-and-decoupled network that enables mutual improvements across tasks while meeting the task-specific modeling requirements. 4) A mixture-of-experts mechanism adopted for visual understanding encoder, which substantially improves perceptual capabilities with a few parameters increase. Extensive experiments have shown that EMMA-4B can significantly outperform state-of-the-art unified multimodal approaches (e.g., BAGEL-7B) in both efficiency and performance, while also achieving competitive results compared to recent multimodal understanding and generation experts (e.g., Qwen3-VL and Qwen-Image). We believe that EMMA lays a solid foundation for the future development of unified multimodal architectures.