Effiziente LLaMA-3.2-Vision durch Kürzung der cross-attendierten visuellen Merkmale

Efficient LLaMA-3.2-Vision by Trimming Cross-attended Visual Features

April 1, 2025

Autoren: Jewon Lee, Ki-Ung Song, Seungmin Yang, Donguk Lim, Jaeyeon Kim, Wooksu Shin, Bo-Kyeong Kim, Yong Jae Lee, Tae-Ho Kim

cs.AI

Zusammenfassung

Die Reduktion visueller Tokens senkt die Inferenzkosten, die durch umfangreiche Bildmerkmale in großen visuell-sprachlichen Modellen (LVLMs) verursacht werden. Im Gegensatz zu relevanten Studien, die Tokens in LVLMs mit ausschließlicher Selbstaufmerksamkeit beschneiden, adressiert unsere Arbeit einzigartig Modelle, die auf Kreuzaufmerksamkeit basieren und eine überlegene Leistung erzielen. Wir stellen fest, dass die Größe des Schlüssel-Wert (KV)-Caches für Bildtokens in Kreuzaufmerksamkeitsschichten diejenige von Texttokens in Selbstaufmerksamkeitsschichten deutlich übersteigt, was einen erheblichen Rechenengpass darstellt. Um dieses Problem zu mildern, nutzen wir die spärliche Natur in Kreuzaufmerksamkeitskarten, um redundante visuelle Merkmale selektiv zu beschneiden. Unser „Trimmed Llama“ reduziert effektiv die Anforderungen an den KV-Cache, ohne zusätzliches Training zu erfordern. Durch die Nutzung von 50 % reduzierten visuellen Merkmalen kann unser Modell die Inferenzlatenz und den Speicherverbrauch verringern, während es die Benchmark-Leistung beibehält.

English

Visual token reduction lowers inference costs caused by extensive image features in large vision-language models (LVLMs). Unlike relevant studies that prune tokens in self-attention-only LVLMs, our work uniquely addresses cross-attention-based models, which achieve superior performance. We identify that the key-value (KV) cache size for image tokens in cross-attention layers significantly exceeds that of text tokens in self-attention layers, posing a major compute bottleneck. To mitigate this issue, we exploit the sparse nature in cross-attention maps to selectively prune redundant visual features. Our Trimmed Llama effectively reduces KV cache demands without requiring additional training. By benefiting from 50%-reduced visual features, our model can reduce inference latency and memory usage while achieving benchmark parity.