Multimodal Mamba: Ein decoder-exklusives multimodales Zustandsraummodell durch quadratische zu lineare Destillation

Multimodal Mamba: Decoder-only Multimodal State Space Model via Quadratic to Linear Distillation

February 18, 2025

Autoren: Bencheng Liao, Hongyuan Tao, Qian Zhang, Tianheng Cheng, Yingyue Li, Haoran Yin, Wenyu Liu, Xinggang Wang

cs.AI

Zusammenfassung

Kürzlich entwickelte Multimodale Große Sprachmodelle (MLLMs) haben bemerkenswerte Leistungen erzielt, stehen jedoch vor Herausforderungen bei der Bereitstellung aufgrund ihrer quadratischen Rechenkomplexität, des wachsenden Bedarfs an Key-Value-Caches und der Abhängigkeit von separaten Vision-Encodern. Wir schlagen mmMamba vor, ein Framework zur Entwicklung von nativen multimodalen State-Space-Modellen mit linearer Komplexität durch progressive Destillation aus bestehenden MLLMs unter Verwendung moderater akademischer Rechenressourcen. Unser Ansatz ermöglicht die direkte Umwandlung von trainierten Decoder-only-MLLMs in Architekturen mit linearer Komplexität, ohne vorgefertigte RNN-basierte LLMs oder Vision-Encoder zu benötigen. Wir schlagen eine Seeding-Strategie vor, um Mamba aus trainierten Transformern zu entwickeln, sowie ein dreistufiges Destillationsverfahren, das effektiv das Wissen vom Transformer auf Mamba übertragen kann, während multimodale Fähigkeiten erhalten bleiben. Unsere Methode unterstützt auch flexible hybride Architekturen, die Transformer- und Mamba-Schichten kombinieren, um anpassbare Effizienz-Leistungs-Kompromisse zu ermöglichen. Aus dem Transformer-basierten Decoder-only-Modell HoVLE destilliert, erreicht mmMamba-linear eine wettbewerbsfähige Leistung im Vergleich zu bestehenden linearen und quadratischen VLMs, während mmMamba-hybrid die Leistung erheblich verbessert und sich den Fähigkeiten von HoVLE annähert. Bei 103K Tokens zeigt mmMamba-linear eine 20,6-fache Beschleunigung und eine 75,8%ige Reduzierung des GPU-Speichers im Vergleich zu HoVLE, während mmMamba-hybrid eine 13,5-fache Beschleunigung und 60,2% Speichereinsparungen erreicht. Code und Modelle sind unter https://github.com/hustvl/mmMamba veröffentlicht.

English

Recent Multimodal Large Language Models (MLLMs) have achieved remarkable performance but face deployment challenges due to their quadratic computational complexity, growing Key-Value cache requirements, and reliance on separate vision encoders. We propose mmMamba, a framework for developing linear-complexity native multimodal state space models through progressive distillation from existing MLLMs using moderate academic computational resources. Our approach enables the direct conversion of trained decoder-only MLLMs to linear-complexity architectures without requiring pre-trained RNN-based LLM or vision encoders. We propose an seeding strategy to carve Mamba from trained Transformer and a three-stage distillation recipe, which can effectively transfer the knowledge from Transformer to Mamba while preserving multimodal capabilities. Our method also supports flexible hybrid architectures that combine Transformer and Mamba layers for customizable efficiency-performance trade-offs. Distilled from the Transformer-based decoder-only HoVLE, mmMamba-linear achieves competitive performance against existing linear and quadratic-complexity VLMs, while mmMamba-hybrid further improves performance significantly, approaching HoVLE's capabilities. At 103K tokens, mmMamba-linear demonstrates 20.6times speedup and 75.8% GPU memory reduction compared to HoVLE, while mmMamba-hybrid achieves 13.5times speedup and 60.2% memory savings. Code and models are released at https://github.com/hustvl/mmMamba