VISION À LA DEMANDE : Amélioration de l'efficacité des VLLM grâce à des interactions vision-langage éparses et dynamiquement sélectionnées

VISion On Request: Enhanced VLLM efficiency with sparse, dynamically selected, vision-language interactions

March 24, 2026

Auteurs: Adrian Bulat, Alberto Baldrati, Ioannis Maniadis Metaxas, Yassine Ouali, Georgios Tzimiropoulos

cs.AI

Résumé

Les approches existantes pour améliorer l'efficacité des Grands Modèles Vision-Langage (LVLM) reposent largement sur le concept de réduction des tokens visuels. Cette approche crée cependant un goulot d'étranglement informationnel qui altère les performances, en particulier sur les tâches complexes nécessitant une compréhension et un raisonnement fins. Dans ce travail, nous remettons en cause ce paradigme en introduisant VISion On Request (VISOR), une méthode qui réduit le coût de l'inférence sans supprimer l'information visuelle. Au lieu de compresser l'image, VISOR améliore l'efficacité en éparsifiant l'interaction entre les tokens image et texte. Plus précisément, le modèle de langage accède à l'ensemble complet des tokens visuels haute résolution via un petit nombre de couches d'attention positionnées stratégiquement : le contexte visuel général est fourni par un mécanisme d'attention croisée efficace entre le texte et l'image, tandis que quelques couches d'auto-attention, bien placées et sélectionnées dynamiquement, affinent les représentations visuelles elles-mêmes, permettant un raisonnement complexe et haute résolution lorsque nécessaire. Sur ce principe, nous entraînons d'abord un réseau unique et universel sur une gamme de budgets computationnels en faisant varier le nombre de couches d'auto-attention, puis nous introduisons un mécanisme de décision léger qui alloue dynamiquement le calcul visuel en fonction de la complexité de chaque échantillon. Des expériences approfondies montrent que VISOR réduit considérablement le coût computationnel tout en égalant ou en dépassant les résultats de l'état de l'art sur un ensemble diversifié de benchmarks, et excelle dans les tâches difficiles nécessitant une compréhension visuelle détaillée.

English

Existing approaches for improving the efficiency of Large Vision-Language Models (LVLMs) are largely based on the concept of visual token reduction. This approach, however, creates an information bottleneck that impairs performance, especially on challenging tasks that require fine-grained understanding and reasoning. In this work, we challenge this paradigm by introducing VISion On Request (VISOR), a method that reduces inference cost without discarding visual information. Instead of compressing the image, VISOR improves efficiency by sparsifying the interaction between image and text tokens. Specifically, the language model attends to the full set of high-resolution visual tokens through a small, strategically placed set of attention layers: general visual context is provided by efficient cross-attention between text-image, while a few well-placed and dynamically selected self-attention layers refine the visual representations themselves, enabling complex, high-resolution reasoning when needed. Based on this principle, we first train a single universal network on a range of computational budgets by varying the number of self-attention layers, and then introduce a lightweight policy mechanism that dynamically allocates visual computation based on per-sample complexity. Extensive experiments show that VISOR drastically reduces computational cost while matching or exceeding state-of-the-art results across a diverse suite of benchmarks, and excels in challenging tasks that require detailed visual understanding.