AdaptVision: Эффективные модели «визуальный язык» за счёт адаптивного визуального восприятия

AdaptVision: Efficient Vision-Language Models via Adaptive Visual Acquisition

December 3, 2025

Авторы: Zichuan Lin, Yicheng Liu, Yang Yang, Lvfang Tao, Deheng Ye

cs.AI

Аннотация

Модели «визуальный язык» (VLM) достигли значительных успехов в задачах визуального ответа на вопросы, однако их зависимость от большого количества визуальных токенов приводит к существенным вычислительным затратам. Хотя существующие эффективные подходы к VLM сокращают количество визуальных токенов за счёт фиксированного сжатия, они действуют пассивно и не способны адаптироваться к изменяемым требованиям задач. Это поднимает фундаментальный вопрос: могут ли VLM автономно определять минимальное необходимое количество визуальных токенов для каждого образца? Вдохновившись механизмами активного зрения человека, мы представляем AdaptVision — эффективную парадигму VLM, которая обеспечивает адаптивное получение визуальных токенов через подход «от грубого к точному». Наша модель изначально обрабатывает сжатые визуальные токены из изображений низкого разрешения и выборочно получает дополнительную визуальную информацию, вызывая инструмент ограничивающих рамок для обрезки ключевых областей при необходимости. Мы обучаем AdaptVision с использованием framework обучения с подкреплением, который тщательно балансирует точность и эффективность. Ключевым элементом нашего подхода является Decoupled Turn Policy Optimization (DTPO), который разделяет цель обучения на две компоненты: (1) обучение работе с инструментами, которое оптимизирует корректное использование инструментов, и (2) повышение точности, которое улучшает генерируемые ответы для повышения правильности результатов. На основе этой формулировки мы дополнительно разделяем оценку преимущества, вычисляя отдельные преимущества для токенов, связанных с каждой целью. Такая формулировка позволяет проводить более эффективную оптимизацию для AdaptVision по сравнению с базовым GRPO. Комплексные эксперименты на множественных бенчмарках VQA демонстрируют, что AdaptVision достигает превосходной производительности, потребляя значительно меньше визуальных токенов по сравнению с передовыми эффективными методами VLM.

English

Vision-Language Models (VLMs) have achieved remarkable success in visual question answering tasks, but their reliance on large numbers of visual tokens introduces significant computational overhead. While existing efficient VLM approaches reduce visual tokens through fixed-ratio compression, they operate passively and lack the ability to adapt to varying task requirements. This motivates a fundamental question: Can VLMs autonomously determine the minimum number of visual tokens required for each sample? Inspired by human active vision mechanisms, we introduce AdaptVision, an efficient VLM paradigm that enables adaptive visual token acquisition through a coarse-to-fine approach. Our model initially processes compressed visual tokens from low-resolution images and selectively acquires additional visual information by invoking a bounding box tool to crop key regions when necessary. We train AdaptVision using a reinforcement learning framework that carefully balances accuracy and efficiency. Central to our approach is Decoupled Turn Policy Optimization (DTPO), which decouples the learning objective into two components: (1) tool learning, which optimizes correct tool utilization, and (2) accuracy improvement, which refines the generated responses to improve answer correctness. Based on this formulation, we further decouple advantage estimation by computing separate advantages for tokens associated with each objective. This formulation enables more effective optimization for AdaptVision compared to vanilla GRPO. Comprehensive experiments across multiple VQA benchmarks demonstrate that AdaptVision achieves superior performance while consuming substantially fewer visual tokens than state-of-the-art efficient VLM methods.