AdaptVision: Effiziente Vision-Language-Modelle durch adaptive visuelle Erfassung
AdaptVision: Efficient Vision-Language Models via Adaptive Visual Acquisition
December 3, 2025
papers.authors: Zichuan Lin, Yicheng Liu, Yang Yang, Lvfang Tao, Deheng Ye
cs.AI
papers.abstract
Vision-Language Models (VLMs) haben bemerkenswerte Erfolge bei Aufgaben zur visuellen Fragebeantwortung erzielt, doch ihre Abhängigkeit von einer großen Anzahl visueller Tokens führt zu erheblichem Rechenaufwand. Während bestehende effiziente VLM-Ansätze visuelle Tokens durch Kompression mit festem Verhältnis reduzieren, arbeiten sie passiv und fehlt ihnen die Fähigkeit, sich an unterschiedliche Aufgabenanforderungen anzupassen. Dies wirft eine grundlegende Frage auf: Können VLMs autonom die minimale Anzahl an visuellen Tokens bestimmen, die für jede einzelne Eingabe erforderlich ist? Inspiriert von menschlichen Active-Vision-Mechanismen führen wir AdaptVision ein, ein effizientes VLM-Paradigma, das einen adaptiven Erwerb visueller Tokens durch einen grob- bis fein-granularen Ansatz ermöglicht. Unser Modell verarbeitet zunächst komprimierte visuelle Tokens aus niedrigaufgelösten Bildern und erwirbt bei Bedarf selektiv zusätzliche visuelle Informationen, indem es ein Bounding-Box-Werkzeug aufruft, um Schlüsselregionen auszuschneiden. Wir trainieren AdaptVision mit einem Reinforcement-Learning-Framework, das Genauigkeit und Effizienz sorgfältig abwägt. Zentrale Bedeutung für unseren Ansatz hat die Decoupled Turn Policy Optimization (DTPO), die das Lernziel in zwei Komponenten entkoppelt: (1) Werkzeuglernen, das die korrekte Werkzeugnutzung optimiert, und (2) Genauigkeitsverbesserung, die die generierten Antworten verfeinert, um die Korrektheit zu steigern. Aufbauend auf dieser Formulierung entkoppeln wir weiter die Advantage-Schätzung, indem wir separate Advantages für Tokens berechnen, die den jeweiligen Zielen zugeordnet sind. Diese Formulierung ermöglicht eine effektivere Optimierung für AdaptVision im Vergleich zu standardmäßigem GRPO. Umfassende Experimente über mehrere VQA-Benchmarks hinweg demonstrieren, dass AdaptVision eine überlegene Leistung erzielt und dabei deutlich weniger visuelle Tokens verbraucht als state-of-the-art effiziente VLM-Methoden.
English
Vision-Language Models (VLMs) have achieved remarkable success in visual question answering tasks, but their reliance on large numbers of visual tokens introduces significant computational overhead. While existing efficient VLM approaches reduce visual tokens through fixed-ratio compression, they operate passively and lack the ability to adapt to varying task requirements. This motivates a fundamental question: Can VLMs autonomously determine the minimum number of visual tokens required for each sample? Inspired by human active vision mechanisms, we introduce AdaptVision, an efficient VLM paradigm that enables adaptive visual token acquisition through a coarse-to-fine approach. Our model initially processes compressed visual tokens from low-resolution images and selectively acquires additional visual information by invoking a bounding box tool to crop key regions when necessary. We train AdaptVision using a reinforcement learning framework that carefully balances accuracy and efficiency. Central to our approach is Decoupled Turn Policy Optimization (DTPO), which decouples the learning objective into two components: (1) tool learning, which optimizes correct tool utilization, and (2) accuracy improvement, which refines the generated responses to improve answer correctness. Based on this formulation, we further decouple advantage estimation by computing separate advantages for tokens associated with each objective. This formulation enables more effective optimization for AdaptVision compared to vanilla GRPO. Comprehensive experiments across multiple VQA benchmarks demonstrate that AdaptVision achieves superior performance while consuming substantially fewer visual tokens than state-of-the-art efficient VLM methods.