MMInference: Aceleración del prellenado para VLMs de contexto largo mediante Atención Dispersa de Permutación Consciente de la Modalidad

MMInference: Accelerating Pre-filling for Long-Context VLMs via Modality-Aware Permutation Sparse Attention

April 22, 2025

Autores: Yucheng Li, Huiqiang Jiang, Chengruidong Zhang, Qianhui Wu, Xufang Luo, Surin Ahn, Amir H. Abdi, Dongsheng Li, Jianfeng Gao, Yuqing Yang, Lili Qiu

cs.AI

Resumen

La integración de capacidades de contexto largo con comprensión visual desbloquea un potencial sin precedentes para los Modelos de Lenguaje Visual (VLMs, por sus siglas en inglés). Sin embargo, la complejidad cuadrática de la atención durante la fase de prellenado sigue siendo un obstáculo significativo para su implementación en el mundo real. Para superar esta limitación, presentamos MMInference (Multimodality Million tokens Inference), un método de atención dispersa dinámica que acelera la etapa de prellenado para entradas multimodales de contexto largo. En primer lugar, nuestro análisis revela que la localidad temporal y espacial de la entrada de video conduce a un patrón disperso único, el patrón de cuadrícula. Simultáneamente, los VLMs exhiben distribuciones dispersas notablemente diferentes entre distintas modalidades. Introducimos un método basado en permutaciones para aprovechar el patrón de cuadrícula único y manejar los problemas en los límites de las modalidades. Al buscar fuera de línea los patrones dispersos óptimos para cada cabeza, MMInference construye la distribución dispersa de manera dinámica en función de la entrada. También proporcionamos núcleos de GPU optimizados para cálculos dispersos eficientes. Cabe destacar que MMInference se integra sin problemas en las canalizaciones existentes de VLMs sin necesidad de modificaciones o ajustes del modelo. Los experimentos en puntos de referencia multimodales, incluyendo Video QA, Subtitulado, VisionNIAH y Mixed-Modality NIAH, con VLMs de contexto largo de última generación (LongVila, LlavaVideo, VideoChat-Flash, Qwen2.5-VL), muestran que MMInference acelera la etapa de prellenado hasta 8.3 veces con 1 millón de tokens, manteniendo la precisión. Nuestro código está disponible en https://aka.ms/MMInference.

English

The integration of long-context capabilities with visual understanding unlocks unprecedented potential for Vision Language Models (VLMs). However, the quadratic attention complexity during the pre-filling phase remains a significant obstacle to real-world deployment. To overcome this limitation, we introduce MMInference (Multimodality Million tokens Inference), a dynamic sparse attention method that accelerates the prefilling stage for long-context multi-modal inputs. First, our analysis reveals that the temporal and spatial locality of video input leads to a unique sparse pattern, the Grid pattern. Simultaneously, VLMs exhibit markedly different sparse distributions across different modalities. We introduce a permutation-based method to leverage the unique Grid pattern and handle modality boundary issues. By offline search the optimal sparse patterns for each head, MMInference constructs the sparse distribution dynamically based on the input. We also provide optimized GPU kernels for efficient sparse computations. Notably, MMInference integrates seamlessly into existing VLM pipelines without any model modifications or fine-tuning. Experiments on multi-modal benchmarks-including Video QA, Captioning, VisionNIAH, and Mixed-Modality NIAH-with state-of-the-art long-context VLMs (LongVila, LlavaVideo, VideoChat-Flash, Qwen2.5-VL) show that MMInference accelerates the pre-filling stage by up to 8.3x at 1M tokens while maintaining accuracy. Our code is available at https://aka.ms/MMInference.