Een blik op compressie: Dynamische visuele token-snoei voor grote visueel-taalkundige modellen

A Glimpse to Compress: Dynamic Visual Token Pruning for Large Vision-Language Models

August 3, 2025

Auteurs: Quan-Sheng Zeng, Yunheng Li, Qilong Wang, Peng-Tao Jiang, Zuxuan Wu, Ming-Ming Cheng, Qibin Hou

cs.AI

Samenvatting

Visuele tokencompressie is cruciaal voor Large Vision-Language Models (LVLMs) om hoogwaardige invoer efficiënt te verwerken. Bestaande methoden die doorgaans vaste compressieverhoudingen hanteren, kunnen zich niet aanpassen aan scènes van variërende complexiteit, wat vaak leidt tot onnauwkeurige snoei die informatieve visuele tokens verwijdert en resulteert in verminderde modelprestaties. Om dit probleem aan te pakken, introduceren we een dynamisch snoeikader, GlimpsePrune, geïnspireerd door menselijke cognitie. Het neemt een data-gedreven 'glimp' en snoeit irrelevante visuele tokens in één enkele voorwaartse passage voordat het antwoord wordt gegenereerd. Deze aanpak snoeit 92,6% van de visuele tokens terwijl de baselineprestaties voor taken met vrije-vorm VQA gemiddeld volledig behouden blijven. De verminderde rekenkosten maken ook effectievere fine-tuning mogelijk: een verbeterde GlimpsePrune+ bereikt 110% van de baselineprestaties terwijl een even hoge snoeiratio behouden blijft. Ons werk baant een nieuwe weg voor het bouwen van krachtigere en efficiëntere LVLMs.

English

Visual token compression is critical for Large Vision-Language Models (LVLMs) to efficiently process high-resolution inputs. Existing methods that typically adopt fixed compression ratios cannot adapt to scenes of varying complexity, often causing imprecise pruning that discards informative visual tokens and results in degraded model performance. To address this issue, we introduce a dynamic pruning framework, GlimpsePrune, inspired by human cognition. It takes a data-driven ''glimpse'' and prunes irrelevant visual tokens in a single forward pass before answer generation. This approach prunes 92.6% of visual tokens while on average fully retaining the baseline performance on free-form VQA tasks. The reduced computational cost also enables more effective fine-tuning: an enhanced GlimpsePrune+ achieves 110% of the baseline performance while maintaining a similarly high pruning rate. Our work paves a new way for building more powerful and efficient LVLMs.