VISion Sob Demanda: Eficiência Aprimorada de VLLM com Interações Visão-Linguagem Esparsas e Dinamicamente Selecionadas

VISion On Request: Enhanced VLLM efficiency with sparse, dynamically selected, vision-language interactions

March 24, 2026

Autores: Adrian Bulat, Alberto Baldrati, Ioannis Maniadis Metaxas, Yassine Ouali, Georgios Tzimiropoulos

cs.AI

Resumo

As abordagens existentes para melhorar a eficiência dos Grandes Modelos de Linguagem e Visão (LVLMs) baseiam-se amplamente no conceito de redução de tokens visuais. No entanto, essa abordagem cria um gargalo de informação que prejudica o desempenho, especialmente em tarefas complexas que exigem compreensão e raciocínio de alto nível de detalhe. Neste trabalho, desafiamos esse paradigma introduzindo o VISion On Request (VISOR), um método que reduz o custo de inferência sem descartar informações visuais. Em vez de comprimir a imagem, o VISOR melhora a eficiência através da esparsificação da interação entre tokens de imagem e texto. Especificamente, o modelo de linguagem acede ao conjunto completo de tokens visuais de alta resolução através de um pequeno conjunto de camadas de atenção estrategicamente posicionadas: o contexto visual geral é fornecido por uma atenção cruzada eficiente entre texto e imagem, enquanto algumas camadas de auto-atenção bem posicionadas e selecionadas dinamicamente refinam as próprias representações visuais, permitindo raciocínio complexo e de alta resolução quando necessário. Com base neste princípio, primeiro treinamos uma única rede universal para uma variedade de orçamentos computacionais, variando o número de camadas de auto-atenção, e depois introduzimos um mecanismo de política leve que aloca dinamicamente o cálculo visual com base na complexidade de cada amostra. Experimentos extensivos mostram que o VISOR reduz drasticamente o custo computacional enquanto iguala ou supera os resultados de ponta em um conjunto diversificado de benchmarks, e se destaca em tarefas desafiadoras que exigem compreensão visual detalhada.

English

Existing approaches for improving the efficiency of Large Vision-Language Models (LVLMs) are largely based on the concept of visual token reduction. This approach, however, creates an information bottleneck that impairs performance, especially on challenging tasks that require fine-grained understanding and reasoning. In this work, we challenge this paradigm by introducing VISion On Request (VISOR), a method that reduces inference cost without discarding visual information. Instead of compressing the image, VISOR improves efficiency by sparsifying the interaction between image and text tokens. Specifically, the language model attends to the full set of high-resolution visual tokens through a small, strategically placed set of attention layers: general visual context is provided by efficient cross-attention between text-image, while a few well-placed and dynamically selected self-attention layers refine the visual representations themselves, enabling complex, high-resolution reasoning when needed. Based on this principle, we first train a single universal network on a range of computational budgets by varying the number of self-attention layers, and then introduce a lightweight policy mechanism that dynamically allocates visual computation based on per-sample complexity. Extensive experiments show that VISOR drastically reduces computational cost while matching or exceeding state-of-the-art results across a diverse suite of benchmarks, and excels in challenging tasks that require detailed visual understanding.