Um Vislumbre para Comprimir: Poda Dinâmica de Tokens Visuais para Grandes Modelos de Visão e Linguagem

A Glimpse to Compress: Dynamic Visual Token Pruning for Large Vision-Language Models

August 3, 2025

Autores: Quan-Sheng Zeng, Yunheng Li, Qilong Wang, Peng-Tao Jiang, Zuxuan Wu, Ming-Ming Cheng, Qibin Hou

cs.AI

Resumo

A compressão de tokens visuais é crucial para os Grandes Modelos de Visão e Linguagem (LVLMs) processarem de forma eficiente entradas de alta resolução. Os métodos existentes, que geralmente adotam taxas de compressão fixas, não conseguem se adaptar a cenas de complexidade variável, frequentemente causando poda imprecisa que descarta tokens visuais informativos e resulta em degradação do desempenho do modelo. Para resolver esse problema, introduzimos um framework de poda dinâmica, o GlimpsePrune, inspirado na cognição humana. Ele realiza uma "olhada" orientada por dados e poda tokens visuais irrelevantes em uma única passagem direta antes da geração da resposta. Essa abordagem poda 92,6% dos tokens visuais enquanto, em média, mantém integralmente o desempenho de referência em tarefas de VQA de forma livre. O custo computacional reduzido também permite um ajuste fino mais eficaz: uma versão aprimorada, o GlimpsePrune+, alcança 110% do desempenho de referência enquanto mantém uma taxa de poda igualmente alta. Nosso trabalho abre um novo caminho para a construção de LVLMs mais poderosos e eficientes.

English

Visual token compression is critical for Large Vision-Language Models (LVLMs) to efficiently process high-resolution inputs. Existing methods that typically adopt fixed compression ratios cannot adapt to scenes of varying complexity, often causing imprecise pruning that discards informative visual tokens and results in degraded model performance. To address this issue, we introduce a dynamic pruning framework, GlimpsePrune, inspired by human cognition. It takes a data-driven ''glimpse'' and prunes irrelevant visual tokens in a single forward pass before answer generation. This approach prunes 92.6% of visual tokens while on average fully retaining the baseline performance on free-form VQA tasks. The reduced computational cost also enables more effective fine-tuning: an enhanced GlimpsePrune+ achieves 110% of the baseline performance while maintaining a similarly high pruning rate. Our work paves a new way for building more powerful and efficient LVLMs.