Multimodal Mamba: Декодер-ориентированная мультимодальная модель пространства состояний через дистилляцию от квадратичной к линейной

Multimodal Mamba: Decoder-only Multimodal State Space Model via Quadratic to Linear Distillation

February 18, 2025

Авторы: Bencheng Liao, Hongyuan Tao, Qian Zhang, Tianheng Cheng, Yingyue Li, Haoran Yin, Wenyu Liu, Xinggang Wang

cs.AI

Аннотация

Недавние мультимодальные большие языковые модели (MLLM) достигли выдающихся результатов, но сталкиваются с проблемами при развертывании из-за их квадратичной вычислительной сложности, растущих требований к кэшу ключей и значений, а также зависимости от отдельных визуальных кодировщиков. Мы предлагаем mmMamba — фреймворк для разработки линейно-сложных нативных мультимодальных моделей пространства состояний с помощью прогрессивной дистилляции из существующих MLLM с использованием умеренных академических вычислительных ресурсов. Наш подход позволяет напрямую преобразовывать обученные декодерные MLLM в линейно-сложные архитектуры без необходимости предварительно обученных RNN-основанных языковых моделей или визуальных кодировщиков. Мы предлагаем стратегию инициализации для создания Mamba из обученного Transformer и трехэтапный рецепт дистилляции, который эффективно переносит знания из Transformer в Mamba, сохраняя мультимодальные возможности. Наш метод также поддерживает гибкие гибридные архитектуры, сочетающие слои Transformer и Mamba для настраиваемого баланса между эффективностью и производительностью. Дистиллированная из декодерной модели HoVLE на основе Transformer, mmMamba-linear демонстрирует конкурентоспособную производительность по сравнению с существующими линейными и квадратично-сложными визуально-языковыми моделями, в то время как mmMamba-hybrid значительно улучшает производительность, приближаясь к возможностям HoVLE. При 103K токенов mmMamba-linear показывает ускорение в 20,6 раз и сокращение использования памяти на GPU на 75,8% по сравнению с HoVLE, а mmMamba-hybrid достигает ускорения в 13,5 раз и экономии памяти на 60,2%. Код и модели доступны по адресу https://github.com/hustvl/mmMamba.

English

Recent Multimodal Large Language Models (MLLMs) have achieved remarkable performance but face deployment challenges due to their quadratic computational complexity, growing Key-Value cache requirements, and reliance on separate vision encoders. We propose mmMamba, a framework for developing linear-complexity native multimodal state space models through progressive distillation from existing MLLMs using moderate academic computational resources. Our approach enables the direct conversion of trained decoder-only MLLMs to linear-complexity architectures without requiring pre-trained RNN-based LLM or vision encoders. We propose an seeding strategy to carve Mamba from trained Transformer and a three-stage distillation recipe, which can effectively transfer the knowledge from Transformer to Mamba while preserving multimodal capabilities. Our method also supports flexible hybrid architectures that combine Transformer and Mamba layers for customizable efficiency-performance trade-offs. Distilled from the Transformer-based decoder-only HoVLE, mmMamba-linear achieves competitive performance against existing linear and quadratic-complexity VLMs, while mmMamba-hybrid further improves performance significantly, approaching HoVLE's capabilities. At 103K tokens, mmMamba-linear demonstrates 20.6times speedup and 75.8% GPU memory reduction compared to HoVLE, while mmMamba-hybrid achieves 13.5times speedup and 60.2% memory savings. Code and models are released at https://github.com/hustvl/mmMamba