SparseMM: La escasez de cabezas emerge de las respuestas a conceptos visuales en MLLMs

SparseMM: Head Sparsity Emerges from Visual Concept Responses in MLLMs

June 5, 2025

Autores: Jiahui Wang, Zuyan Liu, Yongming Rao, Jiwen Lu

cs.AI

Resumen

Los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés) se derivan comúnmente al extender Modelos de Lenguaje de Gran Escala (LLMs) preentrenados con capacidades visuales. En este trabajo, investigamos cómo los MLLMs procesan entradas visuales analizando sus mecanismos de atención. Revelamos un fenómeno de esparsidad sorprendente: solo un pequeño subconjunto (aproximadamente menos del 5%) de las cabezas de atención en los LLMs contribuye activamente a la comprensión visual, denominadas cabezas visuales. Para identificar estas cabezas de manera eficiente, diseñamos un marco de trabajo sin entrenamiento que cuantifica la relevancia visual a nivel de cabeza mediante un análisis de respuestas dirigido. Basándonos en este descubrimiento, introducimos SparseMM, una estrategia de optimización de KV-Cache que asigna presupuestos de cálculo asimétricos a las cabezas en los LLMs según sus puntuaciones visuales, aprovechando la esparsidad de las cabezas visuales para acelerar la inferencia de los MLLMs. En comparación con métodos previos de aceleración de KV-Cache que ignoran la particularidad de lo visual, SparseMM prioriza la retención y preservación de la semántica visual durante la decodificación. Evaluaciones exhaustivas en benchmarks multimodales principales demuestran que SparseMM logra un equilibrio superior entre precisión y eficiencia. Notablemente, SparseMM ofrece una aceleración en tiempo real de 1.38x y una reducción de memoria del 52% durante la generación, manteniendo un rendimiento equivalente en pruebas de eficiencia. Nuestro proyecto es de código abierto en https://github.com/CR400AF-A/SparseMM.

English

Multimodal Large Language Models (MLLMs) are commonly derived by extending pre-trained Large Language Models (LLMs) with visual capabilities. In this work, we investigate how MLLMs process visual inputs by analyzing their attention mechanisms. We reveal a surprising sparsity phenomenon: only a small subset (approximately less than 5%) of attention heads in LLMs actively contribute to visual understanding, termed visual heads. To identify these heads efficiently, we design a training-free framework that quantifies head-level visual relevance through targeted response analysis. Building on this discovery, we introduce SparseMM, a KV-Cache optimization strategy that allocates asymmetric computation budgets to heads in LLMs based on their visual scores, leveraging the sparity of visual heads for accelerating the inference of MLLMs. Compared with prior KV-Cache acceleration methods that ignore the particularity of visual, SparseMM prioritizes stress and retaining visual semantics during decoding. Extensive evaluations across mainstream multimodal benchmarks demonstrate that SparseMM achieves superior accuracy-efficiency trade-offs. Notably, SparseMM delivers 1.38x real-time acceleration and 52% memory reduction during generation while maintaining performance parity on efficiency test. Our project is open sourced at https://github.com/CR400AF-A/SparseMM.