Verstärkte visuelle Wahrnehmung mit Werkzeugen

Reinforced Visual Perception with Tools

September 1, 2025

papers.authors: Zetong Zhou, Dongping Chen, Zixian Ma, Zhihan Hu, Mingyang Fu, Sinan Wang, Yao Wan, Zhou Zhao, Ranjay Krishna

cs.AI

papers.abstract

Visuelles Denken, ein Eckpfeiler der menschlichen Intelligenz, umfasst komplexe Wahrnehmungs- und logische Prozesse, die für die Lösung verschiedener visueller Probleme unerlässlich sind. Während Fortschritte in der Computer Vision leistungsstarke Modelle für verschiedene Wahrnehmungsaufgaben hervorgebracht haben, bleibt die Nutzung dieser für allgemeines visuelles Denken eine Herausforderung. Frühere Arbeiten zeigen, dass die Erweiterung von LLMs mit Vision-Modellen durch überwachtes Feinabstimmen die Leistung verbessert, jedoch mit wesentlichen Einschränkungen wie teurer Datengenerierung, Abhängigkeit von sorgfältiger Datenfilterung und schlechter Generalisierung konfrontiert ist. Um diese Probleme zu lösen, schlagen wir ReVPT vor, um die Fähigkeiten multimodaler LLMs zur Nutzung und zum Denken mit visuellen Werkzeugen durch Reinforcement Learning zu verbessern. Wir führen einen neuartigen RL-Algorithmus basierend auf GRPO ein, der darauf ausgelegt ist, Modelle zu trainieren, mit einer Suite von vier visuellen Werkzeugen zu denken. Durch umfangreiche Experimente zeigen wir, dass unsere Methode Spitzenleistungen auf mehreren wahrnehmungsintensiven Benchmarks, einschließlich SAT, CV-Bench, BLINK und MMStar, erreicht und die überwachten und textbasierten RL-Feinabstimmungs-Baselines deutlich übertrifft. Bemerkenswerterweise übertreffen unsere ReVPT-3B und ReVPT-7B die Instruktionsmodelle um 9,03 % bzw. 9,44 % auf CV-Bench. Schließlich liefern wir der Gemeinschaft neue Einblicke in die RL-basierte Nutzung visueller Werkzeuge durch umfangreiche Ablationen. Unser Code ist verfügbar unter https://github.com/ls-kelvin/REVPT.

English

Visual reasoning, a cornerstone of human intelligence, encompasses complex perceptual and logical processes essential for solving diverse visual problems. While advances in computer vision have produced powerful models for various perceptual tasks, leveraging these for general visual reasoning remains challenging. Prior work demonstrates that augmenting LLMs with vision models via supervised finetuning improves performance, but faces key limitations such as expensive data generation, reliance on careful data filtering, and poor generalization. To address these issues, we propose ReVPT to enhance multi-modal LLMs' abilities to reason about and use visual tools through reinforcement learning. We introduce a novel RL algorithm based on GRPO, designed to train models to reason with a suite of four visual tools. Through extensive experiments, we show that our method achieves state-of-the-art performance on several perception-heavy benchmarks, including SAT, CV-Bench, BLINK and MMStar, significantly outperforming the supervised and text-based RL finetuning baselines. Notably, Our ReVPT-3B and ReVPT-7B outperform the instruct models by 9.03% and 9.44% on CV-Bench. Finally, we bring to the community new insights on RL-based visual tool-usage through extensive ablations. Our code is available at https://github.com/ls-kelvin/REVPT.