EMMA: Effizientes multimodales Verstehen, Generieren und Bearbeiten mit einer einheitlichen Architektur
EMMA: Efficient Multimodal Understanding, Generation, and Editing with a Unified Architecture
December 4, 2025
papers.authors: Xin He, Longhui Wei, Jianbo Ouyang, Lingxi Xie, Qi Tian
cs.AI
papers.abstract
Wir stellen EMMA vor, eine effiziente und vereinheitlichte Architektur für multimodales Verstehen, Generieren und Bearbeiten. Konkret besteht EMMA hauptsächlich aus: 1) Einem effizienten Autoencoder mit einem Kompressionsverhältnis von 32:1, der die für die Generierung benötigte Token-Anzahl erheblich reduziert. Dies gewährleistet zudem die Trainingsbalance zwischen Verstehens- und Generierungsaufgaben, indem das gleiche Kompressionsverhältnis auf Bilder angewendet wird. 2) Kanalkonkatierung anstelle von Token-Konkatierung zwischen visuellen Verstehens- und Generierungstokens, was die visuellen Token in vereinheitlichten Architekturen weiter reduziert. 3) Einem geteilten-und-entkoppelten Netzwerk, das gegenseitige Verbesserungen zwischen Aufgaben ermöglicht und gleichzeitig aufgabenspezifische Modellierungsanforderungen erfüllt. 4) Einem Mixture-of-Experts-Mechanismus für den visuellen Verstehens-Encoder, der die Wahrnehmungsfähigkeiten bei geringem Parameterzuwachs wesentlich verbessert. Umfangreiche Experimente zeigen, dass EMMA-4B state-of-the-art vereinheitlichte multimodale Ansätze (z.B. BAGEL-7B) in Effizienz und Leistung signifikant übertreffen kann, während es gleichzeitig wettbewerbsfähige Ergebnisse im Vergleich zu neueren multimodalen Verstehens- und Generierungsexperten (z.B. Qwen3-VL und Qwen-Image) erzielt. Wir sind überzeugt, dass EMMA eine solide Grundlage für die zukünftige Entwicklung vereinheitlichter multimodaler Architekturen legt.
English
We propose EMMA, an efficient and unified architecture for multimodal understanding, generation and editing. Specifically, EMMA primarily consists of 1) An efficient autoencoder with a 32x compression ratio, which significantly reduces the number of tokens required for generation. This also ensures the training balance between understanding and generation tasks by applying the same compression ratio to images. 2) Channel-wise concatenation instead of token-wise concatenation among visual understanding and generation tokens, which further reduces the visual tokens in unified architectures. 3) A shared-and-decoupled network that enables mutual improvements across tasks while meeting the task-specific modeling requirements. 4) A mixture-of-experts mechanism adopted for visual understanding encoder, which substantially improves perceptual capabilities with a few parameters increase. Extensive experiments have shown that EMMA-4B can significantly outperform state-of-the-art unified multimodal approaches (e.g., BAGEL-7B) in both efficiency and performance, while also achieving competitive results compared to recent multimodal understanding and generation experts (e.g., Qwen3-VL and Qwen-Image). We believe that EMMA lays a solid foundation for the future development of unified multimodal architectures.