VISion On Request: Повышение эффективности VLLM за счет разреженных, динамически выбираемых взаимодействий между языком и зрением

VISion On Request: Enhanced VLLM efficiency with sparse, dynamically selected, vision-language interactions

March 24, 2026

Авторы: Adrian Bulat, Alberto Baldrati, Ioannis Maniadis Metaxas, Yassine Ouali, Georgios Tzimiropoulos

cs.AI

Аннотация

Существующие подходы к повышению эффективности больших визуально-языковых моделей (LVLM) в основном основаны на концепции редукции визуальных токенов. Однако этот подход создает информационное узкое место, которое ухудшает производительность, особенно в сложных задачах, требующих детального понимания и рассуждений. В данной работе мы оспариваем эту парадигму, представляя метод VISOR (VISion On Request), который снижает затраты на вывод, не отбрасывая визуальную информацию. Вместо сжатия изображения VISOR повышает эффективность за счет разрежения взаимодействия между визуальными и текстовыми токенами. А именно, языковая модель обращается к полному набору высокоразрешающих визуальных токенов через небольшой, стратегически размещенный набор слоев внимания: общий визуальный контекст обеспечивается эффективным перекрестным вниманием между текстом и изображением, в то время как несколько удачно расположенных и динамически выбираемых слоев самовнимания уточняют сами визуальные представления, позволяя при необходимости проводить сложные рассуждения с высоким разрешением. Основываясь на этом принципе, мы сначала обучаем единую универсальную сеть для ряда вычислительных бюджетов, варьируя количество слоев самовнимания, а затем вводим легковесный механизм политики, который динамически распределяет визуальные вычисления на основе сложности каждого отдельного примера. Многочисленные эксперименты показывают, что VISOR значительно сокращает вычислительные затраты, одновременно соответствуя или превосходя современные результаты на разнообразном наборе бенчмарков, и превосходит в сложных задачах, требующих детального визуального понимания.

English

Existing approaches for improving the efficiency of Large Vision-Language Models (LVLMs) are largely based on the concept of visual token reduction. This approach, however, creates an information bottleneck that impairs performance, especially on challenging tasks that require fine-grained understanding and reasoning. In this work, we challenge this paradigm by introducing VISion On Request (VISOR), a method that reduces inference cost without discarding visual information. Instead of compressing the image, VISOR improves efficiency by sparsifying the interaction between image and text tokens. Specifically, the language model attends to the full set of high-resolution visual tokens through a small, strategically placed set of attention layers: general visual context is provided by efficient cross-attention between text-image, while a few well-placed and dynamically selected self-attention layers refine the visual representations themselves, enabling complex, high-resolution reasoning when needed. Based on this principle, we first train a single universal network on a range of computational budgets by varying the number of self-attention layers, and then introduce a lightweight policy mechanism that dynamically allocates visual computation based on per-sample complexity. Extensive experiments show that VISOR drastically reduces computational cost while matching or exceeding state-of-the-art results across a diverse suite of benchmarks, and excels in challenging tasks that require detailed visual understanding.