SparseMM: Hoofdsparsiteit Ontstaat uit Visuele Conceptreacties in MLLM's

SparseMM: Head Sparsity Emerges from Visual Concept Responses in MLLMs

June 5, 2025

Auteurs: Jiahui Wang, Zuyan Liu, Yongming Rao, Jiwen Lu

cs.AI

Samenvatting

Multimodale Large Language Models (MLLMs) worden doorgaans afgeleid door vooraf getrainde Large Language Models (LLMs) uit te breiden met visuele mogelijkheden. In dit werk onderzoeken we hoe MLLMs visuele invoer verwerken door hun aandachtmechanismen te analyseren. We onthullen een verrassend sparsity-fenomeen: slechts een kleine subset (ongeveer minder dan 5%) van de aandachtskoppen in LLMs draagt actief bij aan visueel begrip, aangeduid als visuele koppen. Om deze koppen efficiënt te identificeren, ontwerpen we een trainingsvrij raamwerk dat de visuele relevantie op kopniveau kwantificeert via gerichte responsanalyse. Op basis van deze ontdekking introduceren we SparseMM, een KV-Cache optimalisatiestrategie die asymmetrische rekenbudgetten toewijst aan koppen in LLMs op basis van hun visuele scores, waarbij de sparsity van visuele koppen wordt benut om de inferentie van MLLMs te versnellen. In vergelijking met eerdere KV-Cache versnellingsmethoden die de specificiteit van visuele informatie negeren, geeft SparseMM prioriteit aan het behoud van visuele semantiek tijdens het decoderen. Uitgebreide evaluaties op mainstream multimodale benchmarks tonen aan dat SparseMM superieure nauwkeurigheid-efficiëntie afwegingen bereikt. Opmerkelijk is dat SparseMM een real-time versnelling van 1.38x en een geheugenreductie van 52% tijdens generatie biedt, terwijl de prestaties op efficiëntietests gelijk blijven. Ons project is open source beschikbaar op https://github.com/CR400AF-A/SparseMM.

English

Multimodal Large Language Models (MLLMs) are commonly derived by extending pre-trained Large Language Models (LLMs) with visual capabilities. In this work, we investigate how MLLMs process visual inputs by analyzing their attention mechanisms. We reveal a surprising sparsity phenomenon: only a small subset (approximately less than 5%) of attention heads in LLMs actively contribute to visual understanding, termed visual heads. To identify these heads efficiently, we design a training-free framework that quantifies head-level visual relevance through targeted response analysis. Building on this discovery, we introduce SparseMM, a KV-Cache optimization strategy that allocates asymmetric computation budgets to heads in LLMs based on their visual scores, leveraging the sparity of visual heads for accelerating the inference of MLLMs. Compared with prior KV-Cache acceleration methods that ignore the particularity of visual, SparseMM prioritizes stress and retaining visual semantics during decoding. Extensive evaluations across mainstream multimodal benchmarks demonstrate that SparseMM achieves superior accuracy-efficiency trade-offs. Notably, SparseMM delivers 1.38x real-time acceleration and 52% memory reduction during generation while maintaining performance parity on efficiency test. Our project is open sourced at https://github.com/CR400AF-A/SparseMM.