Multimodal Mamba : Modèle d'espace d'état multimodal à décodeur unique via une distillation quadratique à linéaire

Multimodal Mamba: Decoder-only Multimodal State Space Model via Quadratic to Linear Distillation

February 18, 2025

Auteurs: Bencheng Liao, Hongyuan Tao, Qian Zhang, Tianheng Cheng, Yingyue Li, Haoran Yin, Wenyu Liu, Xinggang Wang

cs.AI

Résumé

Les récents modèles de langage multimodaux de grande taille (MLLMs) ont atteint des performances remarquables, mais rencontrent des difficultés de déploiement en raison de leur complexité computationnelle quadratique, de l'augmentation des besoins en mémoire cache pour les paires clé-valeur, et de leur dépendance à des encodeurs visuels séparés. Nous proposons mmMamba, un cadre pour développer des modèles d'espace d'état multimodaux natifs à complexité linéaire, grâce à une distillation progressive à partir de MLLMs existants en utilisant des ressources computationnelles académiques modérées. Notre approche permet la conversion directe de MLLMs entraînés en mode décodeur uniquement en architectures à complexité linéaire, sans nécessiter de modèles de langage pré-entraînés basés sur RNN ou d'encodeurs visuels. Nous proposons une stratégie d'initialisation pour sculpter Mamba à partir d'un Transformer entraîné et une recette de distillation en trois étapes, qui peut transférer efficacement les connaissances du Transformer vers Mamba tout en préservant les capacités multimodales. Notre méthode prend également en charge des architectures hybrides flexibles combinant des couches Transformer et Mamba pour des compromis personnalisables entre efficacité et performance. Distillé à partir du HoVLE basé sur Transformer en mode décodeur uniquement, mmMamba-linéaire atteint des performances compétitives par rapport aux VLMs existants à complexité linéaire et quadratique, tandis que mmMamba-hybride améliore encore significativement les performances, se rapprochant des capacités de HoVLE. À 103K tokens, mmMamba-linéaire démontre une accélération de 20,6 fois et une réduction de 75,8 % de la mémoire GPU par rapport à HoVLE, tandis que mmMamba-hybride atteint une accélération de 13,5 fois et une économie de mémoire de 60,2 %. Le code et les modèles sont disponibles à l'adresse https://github.com/hustvl/mmMamba.

English

Recent Multimodal Large Language Models (MLLMs) have achieved remarkable performance but face deployment challenges due to their quadratic computational complexity, growing Key-Value cache requirements, and reliance on separate vision encoders. We propose mmMamba, a framework for developing linear-complexity native multimodal state space models through progressive distillation from existing MLLMs using moderate academic computational resources. Our approach enables the direct conversion of trained decoder-only MLLMs to linear-complexity architectures without requiring pre-trained RNN-based LLM or vision encoders. We propose an seeding strategy to carve Mamba from trained Transformer and a three-stage distillation recipe, which can effectively transfer the knowledge from Transformer to Mamba while preserving multimodal capabilities. Our method also supports flexible hybrid architectures that combine Transformer and Mamba layers for customizable efficiency-performance trade-offs. Distilled from the Transformer-based decoder-only HoVLE, mmMamba-linear achieves competitive performance against existing linear and quadratic-complexity VLMs, while mmMamba-hybrid further improves performance significantly, approaching HoVLE's capabilities. At 103K tokens, mmMamba-linear demonstrates 20.6times speedup and 75.8% GPU memory reduction compared to HoVLE, while mmMamba-hybrid achieves 13.5times speedup and 60.2% memory savings. Code and models are released at https://github.com/hustvl/mmMamba