EMMA: Comprensión, Generación y Edición Multimodales Eficientes con una Arquitectura Unificada
EMMA: Efficient Multimodal Understanding, Generation, and Editing with a Unified Architecture
December 4, 2025
Autores: Xin He, Longhui Wei, Jianbo Ouyang, Lingxi Xie, Qi Tian
cs.AI
Resumen
Proponemos EMMA, una arquitectura eficiente y unificada para la comprensión, generación y edición multimodal. Específicamente, EMMA se compone principalmente de: 1) Un autoencoder eficiente con una relación de compresión de 32x, que reduce significativamente el número de tokens necesarios para la generación. Esto también garantiza el equilibrio en el entrenamiento entre las tareas de comprensión y generación al aplicar la misma relación de compresión a las imágenes. 2) Una concatenación por canales en lugar de una concatenación por tokens entre los tokens de comprensión y generación visual, lo que reduce aún más los tokens visuales en las arquitecturas unificadas. 3) Una red compartida y desacoplada que permite mejoras mutuas entre tareas mientras satisface los requisitos de modelado específicos de cada tarea. 4) Un mecanismo de mezcla de expertos adoptado para el codificador de comprensión visual, que mejora sustancialmente las capacidades perceptivas con un ligero aumento de parámetros. Experimentos exhaustivos han demostrado que EMMA-4B puede superar significativamente a los enfoques multimodales unificados más avanzados (por ejemplo, BAGEL-7B) tanto en eficiencia como en rendimiento, al mismo tiempo que logra resultados competitivos en comparación con expertos recientes en comprensión y generación multimodal (por ejemplo, Qwen3-VL y Qwen-Image). Creemos que EMMA sienta una base sólida para el desarrollo futuro de arquitecturas multimodales unificadas.
English
We propose EMMA, an efficient and unified architecture for multimodal understanding, generation and editing. Specifically, EMMA primarily consists of 1) An efficient autoencoder with a 32x compression ratio, which significantly reduces the number of tokens required for generation. This also ensures the training balance between understanding and generation tasks by applying the same compression ratio to images. 2) Channel-wise concatenation instead of token-wise concatenation among visual understanding and generation tokens, which further reduces the visual tokens in unified architectures. 3) A shared-and-decoupled network that enables mutual improvements across tasks while meeting the task-specific modeling requirements. 4) A mixture-of-experts mechanism adopted for visual understanding encoder, which substantially improves perceptual capabilities with a few parameters increase. Extensive experiments have shown that EMMA-4B can significantly outperform state-of-the-art unified multimodal approaches (e.g., BAGEL-7B) in both efficiency and performance, while also achieving competitive results compared to recent multimodal understanding and generation experts (e.g., Qwen3-VL and Qwen-Image). We believe that EMMA lays a solid foundation for the future development of unified multimodal architectures.