AdaptVision: Efficiënte Vision-Language Modellen via Adaptieve Visuele Verwerking

AdaptVision: Efficient Vision-Language Models via Adaptive Visual Acquisition

December 3, 2025

Auteurs: Zichuan Lin, Yicheng Liu, Yang Yang, Lvfang Tao, Deheng Ye

cs.AI

Samenvatting

Vision-Language Models (VLMs) hebben opmerkelijke successen geboekt bij visuele vraagbeantwoordings-taken, maar hun afhankelijkheid van grote aantallen visuele tokens introduceert aanzienlijke rekenkosten. Hoewel bestaande efficiënte VLM-benaderingen visuele tokens verminderen via compressie met een vaste verhouding, opereren ze passief en missen ze het vermogen om zich aan te passen aan wisselende taakeisen. Dit roept een fundamentele vraag op: Kunnen VLMs autonoom het minimale aantal visuele tokens bepalen dat voor elk sample nodig is? Geïnspireerd door menselijke actieve visiemechanismen introduceren wij AdaptVision, een efficiënt VLM-paradigma dat adaptieve verwerving van visuele tokens mogelijk maakt via een coarse-to-fine aanpak. Ons model verwerkt aanvankelijk gecomprimeerde visuele tokens uit laagresolutiebeelden en verwerft selectief aanvullende visuele informatie door een bounding box-tool aan te roepen om sleutelregio's bij te snijden wanneer nodig. Wij trainen AdaptVision met een reinforcement learning-raamwerk dat nauwgezet een balans houdt tussen nauwkeurigheid en efficiëntie. Centraal in onze aanpak staat Decoupled Turn Policy Optimization (DTPO), dat het leerdoel ontkoppelt in twee componenten: (1) tool learning, dat het correcte toolgebruik optimaliseert, en (2) nauwkeurigheidsverbetering, die de gegenereerde antwoorden verfijnt om de correctheid te verbeteren. Op basis van deze formulering ontkoppelen we verder de advantage-schatting door afzonderlijke advantages te berekenen voor tokens die aan elk doel zijn gekoppeld. Deze formulering maakt een effectievere optimalisatie mogelijk voor AdaptVision in vergelijking met standaard GRPO. Uitgebreide experimenten op meerdere VQA-benchmarks tonen aan dat AdaptVision superieure prestaties bereikt terwijl het aanzienlijk minder visuele tokens verbruikt dan state-of-the-art efficiënte VLM-methoden.

English

Vision-Language Models (VLMs) have achieved remarkable success in visual question answering tasks, but their reliance on large numbers of visual tokens introduces significant computational overhead. While existing efficient VLM approaches reduce visual tokens through fixed-ratio compression, they operate passively and lack the ability to adapt to varying task requirements. This motivates a fundamental question: Can VLMs autonomously determine the minimum number of visual tokens required for each sample? Inspired by human active vision mechanisms, we introduce AdaptVision, an efficient VLM paradigm that enables adaptive visual token acquisition through a coarse-to-fine approach. Our model initially processes compressed visual tokens from low-resolution images and selectively acquires additional visual information by invoking a bounding box tool to crop key regions when necessary. We train AdaptVision using a reinforcement learning framework that carefully balances accuracy and efficiency. Central to our approach is Decoupled Turn Policy Optimization (DTPO), which decouples the learning objective into two components: (1) tool learning, which optimizes correct tool utilization, and (2) accuracy improvement, which refines the generated responses to improve answer correctness. Based on this formulation, we further decouple advantage estimation by computing separate advantages for tokens associated with each objective. This formulation enables more effective optimization for AdaptVision compared to vanilla GRPO. Comprehensive experiments across multiple VQA benchmarks demonstrate that AdaptVision achieves superior performance while consuming substantially fewer visual tokens than state-of-the-art efficient VLM methods.