Multimodal Mamba: Decoder-only Multimodaal State Space Model via Kwadratische naar Lineaire Distillatie

Multimodal Mamba: Decoder-only Multimodal State Space Model via Quadratic to Linear Distillation

February 18, 2025

Auteurs: Bencheng Liao, Hongyuan Tao, Qian Zhang, Tianheng Cheng, Yingyue Li, Haoran Yin, Wenyu Liu, Xinggang Wang

cs.AI

Samenvatting

Recente Multimodale Grote Taalmodellen (MLLMs) hebben opmerkelijke prestaties behaald, maar worden geconfronteerd met implementatie-uitdagingen vanwege hun kwadratische rekencomplexiteit, groeiende vereisten voor Key-Value caches en afhankelijkheid van aparte visuele encoders. Wij stellen mmMamba voor, een raamwerk voor het ontwikkelen van lineair-complexe native multimodale state space-modellen door middel van progressieve distillatie van bestaande MLLMs met behulp van bescheiden academische rekenbronnen. Onze aanpak maakt de directe omzetting mogelijk van getrainde decoder-only MLLMs naar lineair-complexe architecturen zonder dat vooraf getrainde RNN-gebaseerde LLM of visuele encoders nodig zijn. Wij stellen een seeding-strategie voor om Mamba uit getrainde Transformers te vormen en een drie-fasen distillatierecept, dat effectief kennis van Transformer naar Mamba kan overdragen terwijl multimodale capaciteiten behouden blijven. Onze methode ondersteunt ook flexibele hybride architecturen die Transformer- en Mamba-lagen combineren voor aanpasbare efficiëntie-prestatie afwegingen. Gedistilleerd uit de Transformer-gebaseerde decoder-only HoVLE, behaalt mmMamba-linear concurrerende prestaties ten opzichte van bestaande lineaire en kwadratisch-complexe VLMs, terwijl mmMamba-hybrid de prestaties aanzienlijk verder verbetert en de capaciteiten van HoVLE benadert. Bij 103K tokens demonstreert mmMamba-linear een 20,6-voudige snelheidswinst en een 75,8% reductie in GPU-geheugen vergeleken met HoVLE, terwijl mmMamba-hybrid een 13,5-voudige snelheidswinst en 60,2% geheugenbesparing bereikt. Code en modellen zijn vrijgegeven op https://github.com/hustvl/mmMamba.

English

Recent Multimodal Large Language Models (MLLMs) have achieved remarkable performance but face deployment challenges due to their quadratic computational complexity, growing Key-Value cache requirements, and reliance on separate vision encoders. We propose mmMamba, a framework for developing linear-complexity native multimodal state space models through progressive distillation from existing MLLMs using moderate academic computational resources. Our approach enables the direct conversion of trained decoder-only MLLMs to linear-complexity architectures without requiring pre-trained RNN-based LLM or vision encoders. We propose an seeding strategy to carve Mamba from trained Transformer and a three-stage distillation recipe, which can effectively transfer the knowledge from Transformer to Mamba while preserving multimodal capabilities. Our method also supports flexible hybrid architectures that combine Transformer and Mamba layers for customizable efficiency-performance trade-offs. Distilled from the Transformer-based decoder-only HoVLE, mmMamba-linear achieves competitive performance against existing linear and quadratic-complexity VLMs, while mmMamba-hybrid further improves performance significantly, approaching HoVLE's capabilities. At 103K tokens, mmMamba-linear demonstrates 20.6times speedup and 75.8% GPU memory reduction compared to HoVLE, while mmMamba-hybrid achieves 13.5times speedup and 60.2% memory savings. Code and models are released at https://github.com/hustvl/mmMamba