EMMA : Compréhension, Génération et Édition Multimodales Efficaces avec une Architecture Unifiée

EMMA: Efficient Multimodal Understanding, Generation, and Editing with a Unified Architecture

December 4, 2025

papers.authors: Xin He, Longhui Wei, Jianbo Ouyang, Lingxi Xie, Qi Tian

cs.AI

papers.abstract

Nous proposons EMMA, une architecture efficace et unifiée pour la compréhension, la génération et l'édition multimodales. Plus précisément, EMMA se compose principalement de : 1) Un autoencodeur efficace avec un taux de compression de 32x, qui réduit considérablement le nombre de tokens requis pour la génération. Cela garantit également l'équilibre de l'entraînement entre les tâches de compréhension et de génération en appliquant le même taux de compression aux images. 2) Une concaténation par canaux plutôt qu'une concaténation par tokens entre les tokens de compréhension et de génération visuelles, ce qui réduit davantage les tokens visuels dans les architectures unifiées. 3) Un réseau partagé-et-découplé qui permet des améliorations mutuelles entre les tâches tout en répondant aux exigences de modélisation spécifiques à chaque tâche. 4) Un mécanisme de mélange d'experts adopté pour l'encodeur de compréhension visuelle, qui améliore considérablement les capacités perceptives avec une faible augmentation de paramètres. Des expériences approfondies ont montré qu'EMMA-4B surpasse significativement les approches multimodales unifiées les plus avancées (par exemple, BAGEL-7B) tant en efficacité qu'en performance, tout en obtenant des résultats compétitifs par rapport aux experts récents en compréhension et génération multimodales (par exemple, Qwen3-VL et Qwen-Image). Nous pensons qu'EMMA jette des bases solides pour le développement futur des architectures multimodales unifiées.

English

We propose EMMA, an efficient and unified architecture for multimodal understanding, generation and editing. Specifically, EMMA primarily consists of 1) An efficient autoencoder with a 32x compression ratio, which significantly reduces the number of tokens required for generation. This also ensures the training balance between understanding and generation tasks by applying the same compression ratio to images. 2) Channel-wise concatenation instead of token-wise concatenation among visual understanding and generation tokens, which further reduces the visual tokens in unified architectures. 3) A shared-and-decoupled network that enables mutual improvements across tasks while meeting the task-specific modeling requirements. 4) A mixture-of-experts mechanism adopted for visual understanding encoder, which substantially improves perceptual capabilities with a few parameters increase. Extensive experiments have shown that EMMA-4B can significantly outperform state-of-the-art unified multimodal approaches (e.g., BAGEL-7B) in both efficiency and performance, while also achieving competitive results compared to recent multimodal understanding and generation experts (e.g., Qwen3-VL and Qwen-Image). We believe that EMMA lays a solid foundation for the future development of unified multimodal architectures.