マルチモーダルマンバ：二次から線形への蒸留によるデコーダ専用マルチモーダル状態空間モデル

Multimodal Mamba: Decoder-only Multimodal State Space Model via Quadratic to Linear Distillation

February 18, 2025

著者: Bencheng Liao, Hongyuan Tao, Qian Zhang, Tianheng Cheng, Yingyue Li, Haoran Yin, Wenyu Liu, Xinggang Wang

cs.AI

要旨

近年のマルチモーダル大規模言語モデル（MLLMs）は驚異的な性能を達成していますが、二次的な計算複雑性、増大するKey-Valueキャッシュの要件、および分離されたビジョンエンコーダへの依存により、展開に課題を抱えています。我々はmmMambaを提案します。これは、適度な学術的計算リソースを使用して既存のMLLMsから段階的に蒸留することで、線形複雑性のネイティブマルチモーダル状態空間モデルを開発するフレームワークです。我々のアプローチは、事前に訓練されたRNNベースのLLMやビジョンエンコーダを必要とせずに、訓練済みのデコーダのみのMLLMsを線形複雑性のアーキテクチャに直接変換することを可能にします。我々は、訓練済みのTransformerからMambaを切り出すためのシーディング戦略と、TransformerからMambaへ知識を効果的に転移しつつマルチモーダル能力を保持する三段階の蒸留レシピを提案します。我々の手法は、TransformerとMambaの層を組み合わせた柔軟なハイブリッドアーキテクチャもサポートし、カスタマイズ可能な効率と性能のトレードオフを実現します。TransformerベースのデコーダのみのHoVLEから蒸留されたmmMamba-linearは、既存の線形および二次複雑性のVLMsに対して競争力のある性能を達成し、mmMamba-hybridはさらに性能を大幅に向上させ、HoVLEの能力に接近します。103Kトークンにおいて、mmMamba-linearはHoVLEと比較して20.6倍の高速化と75.8%のGPUメモリ削減を実現し、mmMamba-hybridは13.5倍の高速化と60.2%のメモリ節約を達成します。コードとモデルはhttps://github.com/hustvl/mmMambaで公開されています。

English

Recent Multimodal Large Language Models (MLLMs) have achieved remarkable performance but face deployment challenges due to their quadratic computational complexity, growing Key-Value cache requirements, and reliance on separate vision encoders. We propose mmMamba, a framework for developing linear-complexity native multimodal state space models through progressive distillation from existing MLLMs using moderate academic computational resources. Our approach enables the direct conversion of trained decoder-only MLLMs to linear-complexity architectures without requiring pre-trained RNN-based LLM or vision encoders. We propose an seeding strategy to carve Mamba from trained Transformer and a three-stage distillation recipe, which can effectively transfer the knowledge from Transformer to Mamba while preserving multimodal capabilities. Our method also supports flexible hybrid architectures that combine Transformer and Mamba layers for customizable efficiency-performance trade-offs. Distilled from the Transformer-based decoder-only HoVLE, mmMamba-linear achieves competitive performance against existing linear and quadratic-complexity VLMs, while mmMamba-hybrid further improves performance significantly, approaching HoVLE's capabilities. At 103K tokens, mmMamba-linear demonstrates 20.6times speedup and 75.8% GPU memory reduction compared to HoVLE, while mmMamba-hybrid achieves 13.5times speedup and 60.2% memory savings. Code and models are released at https://github.com/hustvl/mmMamba