Multimodal Mamba: Modelo de Espacio de Estados Multimodal Solo-decodificador mediante Distilación Cuadrática a Lineal

Multimodal Mamba: Decoder-only Multimodal State Space Model via Quadratic to Linear Distillation

February 18, 2025

Autores: Bencheng Liao, Hongyuan Tao, Qian Zhang, Tianheng Cheng, Yingyue Li, Haoran Yin, Wenyu Liu, Xinggang Wang

cs.AI

Resumen

Los modelos de lenguaje multimodal de gran escala (MLLMs, por sus siglas en inglés) han logrado un rendimiento notable, pero enfrentan desafíos de implementación debido a su complejidad computacional cuadrática, los crecientes requisitos de caché de clave-valor y su dependencia de codificadores de visión separados. Proponemos mmMamba, un marco para desarrollar modelos de espacio de estado multimodal nativo con complejidad lineal mediante destilación progresiva a partir de MLLMs existentes utilizando recursos computacionales académicos moderados. Nuestro enfoque permite la conversión directa de MLLMs entrenados de solo decodificador a arquitecturas de complejidad lineal sin requerir modelos de lenguaje basados en RNN o codificadores de visión preentrenados. Proponemos una estrategia de inicialización para esculpir Mamba a partir de un Transformer entrenado y una receta de destilación en tres etapas, que puede transferir efectivamente el conocimiento del Transformer a Mamba mientras preserva las capacidades multimodales. Nuestro método también admite arquitecturas híbridas flexibles que combinan capas de Transformer y Mamba para lograr compensaciones personalizables entre eficiencia y rendimiento. Destilado a partir del HoVLE basado en Transformer de solo decodificador, mmMamba-lineal logra un rendimiento competitivo frente a los modelos de lenguaje visual (VLMs) de complejidad lineal y cuadrática existentes, mientras que mmMamba-híbrido mejora significativamente el rendimiento, acercándose a las capacidades de HoVLE. Con 103K tokens, mmMamba-lineal demuestra una aceleración de 20.6 veces y una reducción del 75.8% en la memoria de GPU en comparación con HoVLE, mientras que mmMamba-híbrido logra una aceleración de 13.5 veces y un ahorro de memoria del 60.2%. El código y los modelos están disponibles en https://github.com/hustvl/mmMamba.

English

Recent Multimodal Large Language Models (MLLMs) have achieved remarkable performance but face deployment challenges due to their quadratic computational complexity, growing Key-Value cache requirements, and reliance on separate vision encoders. We propose mmMamba, a framework for developing linear-complexity native multimodal state space models through progressive distillation from existing MLLMs using moderate academic computational resources. Our approach enables the direct conversion of trained decoder-only MLLMs to linear-complexity architectures without requiring pre-trained RNN-based LLM or vision encoders. We propose an seeding strategy to carve Mamba from trained Transformer and a three-stage distillation recipe, which can effectively transfer the knowledge from Transformer to Mamba while preserving multimodal capabilities. Our method also supports flexible hybrid architectures that combine Transformer and Mamba layers for customizable efficiency-performance trade-offs. Distilled from the Transformer-based decoder-only HoVLE, mmMamba-linear achieves competitive performance against existing linear and quadratic-complexity VLMs, while mmMamba-hybrid further improves performance significantly, approaching HoVLE's capabilities. At 103K tokens, mmMamba-linear demonstrates 20.6times speedup and 75.8% GPU memory reduction compared to HoVLE, while mmMamba-hybrid achieves 13.5times speedup and 60.2% memory savings. Code and models are released at https://github.com/hustvl/mmMamba