EMMA: Compreensão, Geração e Edição Multimodal Eficiente com uma Arquitetura Unificada

EMMA: Efficient Multimodal Understanding, Generation, and Editing with a Unified Architecture

December 4, 2025

Autores: Xin He, Longhui Wei, Jianbo Ouyang, Lingxi Xie, Qi Tian

cs.AI

Resumo

Propomos a EMMA, uma arquitetura unificada e eficiente para compreensão, geração e edição multimodal. Especificamente, a EMMA consiste principalmente em: 1) Um autoencoder eficiente com taxa de compressão de 32x, que reduz significativamente o número de tokens necessários para geração. Isso também garante o equilíbrio do treinamento entre tarefas de compreensão e geração ao aplicar a mesma taxa de compressão a imagens. 2) Concatenação por canal em vez de concatenação por token entre os tokens de compreensão e geração visual, o que reduz ainda mais os tokens visuais em arquiteturas unificadas. 3) Uma rede compartilhada e desacoplada que permite melhorias mútuas entre tarefas, atendendo aos requisitos de modelagem específicos de cada tarefa. 4) Um mecanismo de mistura de especialistas adotado para o codificador de compreensão visual, que melhora substancialmente as capacidades perceptivas com um pequeno aumento de parâmetros. Experimentos extensivos demonstraram que a EMMA-4B pode superar significativamente as abordagens multimodais unificadas state-of-the-art (como a BAGEL-7B) em eficiência e desempenho, além de alcançar resultados competitivos em comparação com especialistas recentes em compreensão e geração multimodal (como Qwen3-VL e Qwen-Image). Acreditamos que a EMMA estabelece uma base sólida para o desenvolvimento futuro de arquiteturas multimodais unificadas.

English

We propose EMMA, an efficient and unified architecture for multimodal understanding, generation and editing. Specifically, EMMA primarily consists of 1) An efficient autoencoder with a 32x compression ratio, which significantly reduces the number of tokens required for generation. This also ensures the training balance between understanding and generation tasks by applying the same compression ratio to images. 2) Channel-wise concatenation instead of token-wise concatenation among visual understanding and generation tokens, which further reduces the visual tokens in unified architectures. 3) A shared-and-decoupled network that enables mutual improvements across tasks while meeting the task-specific modeling requirements. 4) A mixture-of-experts mechanism adopted for visual understanding encoder, which substantially improves perceptual capabilities with a few parameters increase. Extensive experiments have shown that EMMA-4B can significantly outperform state-of-the-art unified multimodal approaches (e.g., BAGEL-7B) in both efficiency and performance, while also achieving competitive results compared to recent multimodal understanding and generation experts (e.g., Qwen3-VL and Qwen-Image). We believe that EMMA lays a solid foundation for the future development of unified multimodal architectures.