Minder is Meer – Tot het Breekt: Beveiligingsvalkuilen van Visuele Tokencompressie in Grote Visueel-Taalmodellen

Less Is More -- Until It Breaks: Security Pitfalls of Vision Token Compression in Large Vision-Language Models

January 17, 2026

Auteurs: Xiaomei Zhang, Zhaoxi Zhang, Leo Yu Zhang, Yanjun Zhang, Guanhong Tao, Shirui Pan

cs.AI

Samenvatting

Visuele tokencompressie wordt op grote schaal toegepast om de inferentie-efficiëntie van Grote Visueel-Taalmodellen (LVLM's) te verbeteren, waardoor hun inzet in scenario's met gevoelige latentie en beperkte middelen mogelijk wordt. Bestaand onderzoek heeft zich echter voornamelijk gericht op efficiëntie en prestaties, terwijl de veiligheidsimplicaties van visuele tokencompressie grotendeels onontgonnen zijn gebleven. In dit werk tonen we eerst aan dat visuele tokencompressie de robuustheid van LVLM's aanzienlijk aantast: modellen die robuust zijn onder ongecomprimeerde inferentie worden zeer kwetsbaar zodra compressie is ingeschakeld. Deze kwetsbaarheden zijn toestandspecifiek; faalwijzen treden alleen op in de gecomprimeerde setting en verdwijnen volledig wanneer compressie is uitgeschakeld, waardoor ze bijzonder verborgen en moeilijk te diagnosticeren zijn. Door de belangrijkste fasen van het compressieproces te analyseren, identificeren we instabiliteit in de rangschikking van tokenbelangrijkheid als de primaire oorzaak van deze robuustheidsafname. Kleine en onwaarneembare verstoringen kunnen de tokenrangschikking aanzienlijk veranderen, waardoor het compressiemechanisme ten onrechte taakkritische informatie verwijdert en uiteindelijk tot modelfalen leidt. Gemotiveerd door deze observatie stellen we een Compressiebewuste Aanval (Compression-Aware Attack - CAA) voor om deze kwetsbaarheid systematisch te bestuderen en uit te buiten. CAA richt zich rechtstreeks op het tokenselectiemechanisme en induceert fouten uitsluitend onder gecomprimeerde inferentie. We breiden deze aanpak verder uit naar meer realistische black-box settings en introduceren Overgedragen CAA (Transfer CAA), waarbij noch het doelmodel, noch de compressieconfiguratie toegankelijk is. We evalueren verder potentiële verdedigingsmechanismen en concluderen dat deze slechts beperkte bescherming bieden. Uitgebreide experimenten met verschillende modellen, datasets en compressiemethoden tonen aan dat visuele tokencompressie de robuustheid significant ondermijnt, wat een voorheen over het hoofd geziene efficiëntie-veiligheid trade-off aan het licht brengt.

English

Visual token compression is widely adopted to improve the inference efficiency of Large Vision-Language Models (LVLMs), enabling their deployment in latency-sensitive and resource-constrained scenarios. However, existing work has mainly focused on efficiency and performance, while the security implications of visual token compression remain largely unexplored. In this work, we first reveal that visual token compression substantially degrades the robustness of LVLMs: models that are robust under uncompressed inference become highly vulnerable once compression is enabled. These vulnerabilities are state-specific; failure modes emerge only in the compressed setting and completely disappear when compression is disabled, making them particularly hidden and difficult to diagnose. By analyzing the key stages of the compression process, we identify instability in token importance ranking as the primary cause of this robustness degradation. Small and imperceptible perturbations can significantly alter token rankings, leading the compression mechanism to mistakenly discard task-critical information and ultimately causing model failure. Motivated by this observation, we propose a Compression-Aware Attack to systematically study and exploit this vulnerability. CAA directly targets the token selection mechanism and induces failures exclusively under compressed inference. We further extend this approach to more realistic black-box settings and introduce Transfer CAA, where neither the target model nor the compression configuration is accessible. We further evaluate potential defenses and find that they provide only limited protection. Extensive experiments across models, datasets, and compression methods show that visual token compression significantly undermines robustness, revealing a previously overlooked efficiency-security trade-off.