Multimodal Mamba: Modelo de Espaço de Estados Multimodal Apenas com Decodificador via Distilação Quadrática para Linear

Multimodal Mamba: Decoder-only Multimodal State Space Model via Quadratic to Linear Distillation

February 18, 2025

Autores: Bencheng Liao, Hongyuan Tao, Qian Zhang, Tianheng Cheng, Yingyue Li, Haoran Yin, Wenyu Liu, Xinggang Wang

cs.AI

Resumo

Modelos Multimodais de Grande Escala de Linguagem (MLLMs) recentes alcançaram desempenho notável, mas enfrentam desafios de implantação devido à sua complexidade computacional quadrática, ao crescente requisito de cache de Chave-Valor e à dependência de codificadores de visão separados. Propomos o mmMamba, uma estrutura para desenvolver modelos de espaço de estado multimodais nativos com complexidade linear por meio de destilação progressiva de MLLMs existentes, utilizando recursos computacionais acadêmicos moderados. Nossa abordagem permite a conversão direta de MLLMs treinados apenas com decodificadores para arquiteturas de complexidade linear, sem a necessidade de LLMs baseados em RNN pré-treinados ou codificadores de visão. Propomos uma estratégia de inicialização para esculpir o Mamba a partir de Transformers treinados e uma receita de destilação em três estágios, que pode transferir efetivamente o conhecimento do Transformer para o Mamba, preservando as capacidades multimodais. Nosso método também suporta arquiteturas híbridas flexíveis que combinam camadas de Transformer e Mamba para ajustes personalizados entre eficiência e desempenho. Destilado a partir do HoVLE, um decodificador baseado em Transformer, o mmMamba-linear alcança desempenho competitivo em comparação com VLMs existentes de complexidade linear e quadrática, enquanto o mmMamba-híbrido melhora significativamente o desempenho, aproximando-se das capacidades do HoVLE. Com 103K tokens, o mmMamba-linear demonstra uma aceleração de 20,6 vezes e uma redução de 75,8% na memória GPU em comparação com o HoVLE, enquanto o mmMamba-híbrido alcança uma aceleração de 13,5 vezes e uma economia de memória de 60,2%. O código e os modelos estão disponíveis em https://github.com/hustvl/mmMamba.

English

Recent Multimodal Large Language Models (MLLMs) have achieved remarkable performance but face deployment challenges due to their quadratic computational complexity, growing Key-Value cache requirements, and reliance on separate vision encoders. We propose mmMamba, a framework for developing linear-complexity native multimodal state space models through progressive distillation from existing MLLMs using moderate academic computational resources. Our approach enables the direct conversion of trained decoder-only MLLMs to linear-complexity architectures without requiring pre-trained RNN-based LLM or vision encoders. We propose an seeding strategy to carve Mamba from trained Transformer and a three-stage distillation recipe, which can effectively transfer the knowledge from Transformer to Mamba while preserving multimodal capabilities. Our method also supports flexible hybrid architectures that combine Transformer and Mamba layers for customizable efficiency-performance trade-offs. Distilled from the Transformer-based decoder-only HoVLE, mmMamba-linear achieves competitive performance against existing linear and quadratic-complexity VLMs, while mmMamba-hybrid further improves performance significantly, approaching HoVLE's capabilities. At 103K tokens, mmMamba-linear demonstrates 20.6times speedup and 75.8% GPU memory reduction compared to HoVLE, while mmMamba-hybrid achieves 13.5times speedup and 60.2% memory savings. Code and models are released at https://github.com/hustvl/mmMamba