VISion On Request: Verbesserte VLLM-Effizienz durch spärliche, dynamisch ausgewählte Vision-Sprache-Interaktionen
VISion On Request: Enhanced VLLM efficiency with sparse, dynamically selected, vision-language interactions
March 24, 2026
Autoren: Adrian Bulat, Alberto Baldrati, Ioannis Maniadis Metaxas, Yassine Ouali, Georgios Tzimiropoulos
cs.AI
Zusammenfassung
Bestehende Ansätze zur Verbesserung der Effizienz großer visuell-sprachlicher Modelle (LVLMs) basieren weitgehend auf dem Konzept der Reduzierung visueller Tokens. Dieser Ansatz erzeugt jedoch einen Informationsengpass, der die Leistung beeinträchtigt, insbesondere bei anspruchsvollen Aufgaben, die ein feinkörniges Verständnis und Schlussfolgerungen erfordern. In dieser Arbeit stellen wir dieses Paradigma in Frage und führen VISion On Request (VISOR) ein, eine Methode, die Inferenzkosten senkt, ohne visuelle Informationen zu verwerfen. Anstatt das Bild zu komprimieren, verbessert VISOR die Effizienz, indem es die Interaktion zwischen Bild- und Text-Tokens vereinfacht. Konkret attendiert das Sprachmodell auf den vollständigen Satz hochauflösender visueller Tokens durch eine kleine, strategisch platzierte Menge von Attention-Layern: Allgemeiner visueller Kontext wird durch effiziente Kreuzaufmerksamkeit zwischen Text und Bild bereitgestellt, während einige gezielt platzierte und dynamisch ausgewählte Self-Attention-Layer die visuellen Repräsentationen selbst verfeinern und somit komplexe, hochauflösende Reasoningprozesse bei Bedarf ermöglichen. Basierend auf diesem Prinzip trainieren wir zunächst ein einziges universelles Netzwerk mit einer Reihe von Rechenbudgets, indem wir die Anzahl der Self-Attention-Layer variieren, und führen dann einen leichtgewichtigen Policy-Mechanismus ein, der die visuelle Berechnung dynamisch auf Basis der Komplexität pro Beispiel zuweist. Umfangreiche Experimente zeigen, dass VISOR die Rechenkosten drastisch reduziert und dabei state-of-the-art Ergebnisse über eine vielfältige Benchmark-Suite erreicht oder übertrifft, sowie bei herausfordernden Aufgaben brilliert, die detailliertes visuelles Verständnis erfordern.
English
Existing approaches for improving the efficiency of Large Vision-Language Models (LVLMs) are largely based on the concept of visual token reduction. This approach, however, creates an information bottleneck that impairs performance, especially on challenging tasks that require fine-grained understanding and reasoning. In this work, we challenge this paradigm by introducing VISion On Request (VISOR), a method that reduces inference cost without discarding visual information. Instead of compressing the image, VISOR improves efficiency by sparsifying the interaction between image and text tokens. Specifically, the language model attends to the full set of high-resolution visual tokens through a small, strategically placed set of attention layers: general visual context is provided by efficient cross-attention between text-image, while a few well-placed and dynamically selected self-attention layers refine the visual representations themselves, enabling complex, high-resolution reasoning when needed. Based on this principle, we first train a single universal network on a range of computational budgets by varying the number of self-attention layers, and then introduce a lightweight policy mechanism that dynamically allocates visual computation based on per-sample complexity. Extensive experiments show that VISOR drastically reduces computational cost while matching or exceeding state-of-the-art results across a diverse suite of benchmarks, and excels in challenging tasks that require detailed visual understanding.