Multimodal Mamba: Modello Spaziale degli Stati Multimodale Solo-Decodificatore tramite Distillazione da Quadratico a Lineare

Multimodal Mamba: Decoder-only Multimodal State Space Model via Quadratic to Linear Distillation

February 18, 2025

Autori: Bencheng Liao, Hongyuan Tao, Qian Zhang, Tianheng Cheng, Yingyue Li, Haoran Yin, Wenyu Liu, Xinggang Wang

cs.AI

Abstract

I recenti Modelli Linguistici Multimodali di Grande Scala (MLLMs) hanno raggiunto prestazioni notevoli, ma affrontano sfide di implementazione a causa della loro complessità computazionale quadratica, delle crescenti esigenze di cache Key-Value e della dipendenza da encoder visivi separati. Proponiamo mmMamba, un framework per sviluppare modelli di spazio di stato multimodali nativi con complessità lineare attraverso una distillazione progressiva da MLLM esistenti utilizzando risorse computazionali accademiche moderate. Il nostro approccio consente la conversione diretta di MLLM addestrati con solo decoder in architetture a complessità lineare senza la necessità di LLM basati su RNN pre-addestrati o encoder visivi. Proponiamo una strategia di seeding per estrarre Mamba da Transformer addestrati e una ricetta di distillazione in tre fasi, che può trasferire efficacemente la conoscenza da Transformer a Mamba preservando le capacità multimodali. Il nostro metodo supporta anche architetture ibride flessibili che combinano strati di Transformer e Mamba per compromessi personalizzabili tra efficienza e prestazioni. Distillato dal Transformer-based HoVLE con solo decoder, mmMamba-lineare raggiunge prestazioni competitive rispetto ai VLM esistenti con complessità lineare e quadratica, mentre mmMamba-ibrido migliora ulteriormente le prestazioni in modo significativo, avvicinandosi alle capacità di HoVLE. A 103K token, mmMamba-lineare dimostra un'accelerazione di 20,6 volte e una riduzione del 75,8% della memoria GPU rispetto a HoVLE, mentre mmMamba-ibrido raggiunge un'accelerazione di 13,5 volte e un risparmio di memoria del 60,2%. Codice e modelli sono rilasciati su https://github.com/hustvl/mmMamba.

English

Recent Multimodal Large Language Models (MLLMs) have achieved remarkable performance but face deployment challenges due to their quadratic computational complexity, growing Key-Value cache requirements, and reliance on separate vision encoders. We propose mmMamba, a framework for developing linear-complexity native multimodal state space models through progressive distillation from existing MLLMs using moderate academic computational resources. Our approach enables the direct conversion of trained decoder-only MLLMs to linear-complexity architectures without requiring pre-trained RNN-based LLM or vision encoders. We propose an seeding strategy to carve Mamba from trained Transformer and a three-stage distillation recipe, which can effectively transfer the knowledge from Transformer to Mamba while preserving multimodal capabilities. Our method also supports flexible hybrid architectures that combine Transformer and Mamba layers for customizable efficiency-performance trade-offs. Distilled from the Transformer-based decoder-only HoVLE, mmMamba-linear achieves competitive performance against existing linear and quadratic-complexity VLMs, while mmMamba-hybrid further improves performance significantly, approaching HoVLE's capabilities. At 103K tokens, mmMamba-linear demonstrates 20.6times speedup and 75.8% GPU memory reduction compared to HoVLE, while mmMamba-hybrid achieves 13.5times speedup and 60.2% memory savings. Code and models are released at https://github.com/hustvl/mmMamba