EMMA: Comprensione, Generazione e Modifica Multimodale Efficiente con Architettura Unificata
EMMA: Efficient Multimodal Understanding, Generation, and Editing with a Unified Architecture
December 4, 2025
Autori: Xin He, Longhui Wei, Jianbo Ouyang, Lingxi Xie, Qi Tian
cs.AI
Abstract
Proponiamo EMMA, un'architettura efficiente e unificata per la comprensione, generazione e modifica multimodale. Nello specifico, EMMA è composta principalmente da: 1) Un autoencoder efficiente con un rapporto di compressione 32x, che riduce significativamente il numero di token necessari per la generazione. Ciò garantisce anche l'equilibrio di addestramento tra i compiti di comprensione e generazione applicando lo stesso rapporto di compressione alle immagini. 2) Una concatenazione per canali invece che per token tra i token di comprensione e generazione visiva, che riduce ulteriormente i token visivi nelle architetture unificate. 3) Una rete condivisa e disaccoppiata che consente miglioramenti reciproci tra i vari compiti, soddisfacendo al contempo i requisiti di modellazione specifici per ciascuno. 4) Un meccanismo misto di esperti adottato per l'encoder di comprensione visiva, che migliora sostanzialmente le capacità percettive con un modesto aumento dei parametri. Esperimenti estensivi hanno dimostrato che EMMA-4B può superare significativamente, sia in efficienza che in prestazioni, gli approcci multimodali unificati all'avanguardia (ad esempio, BAGEL-7B), raggiungendo al contempo risultati competitivi rispetto a recenti modelli specializzati in comprensione e generazione multimodale (ad esempio, Qwen3-VL e Qwen-Image). Riteniamo che EMMA ponga una solida base per lo sviluppo futuro di architetture multimodali unificate.
English
We propose EMMA, an efficient and unified architecture for multimodal understanding, generation and editing. Specifically, EMMA primarily consists of 1) An efficient autoencoder with a 32x compression ratio, which significantly reduces the number of tokens required for generation. This also ensures the training balance between understanding and generation tasks by applying the same compression ratio to images. 2) Channel-wise concatenation instead of token-wise concatenation among visual understanding and generation tokens, which further reduces the visual tokens in unified architectures. 3) A shared-and-decoupled network that enables mutual improvements across tasks while meeting the task-specific modeling requirements. 4) A mixture-of-experts mechanism adopted for visual understanding encoder, which substantially improves perceptual capabilities with a few parameters increase. Extensive experiments have shown that EMMA-4B can significantly outperform state-of-the-art unified multimodal approaches (e.g., BAGEL-7B) in both efficiency and performance, while also achieving competitive results compared to recent multimodal understanding and generation experts (e.g., Qwen3-VL and Qwen-Image). We believe that EMMA lays a solid foundation for the future development of unified multimodal architectures.