Усиленное визуальное восприятие с использованием инструментов

Reinforced Visual Perception with Tools

September 1, 2025

Авторы: Zetong Zhou, Dongping Chen, Zixian Ma, Zhihan Hu, Mingyang Fu, Sinan Wang, Yao Wan, Zhou Zhao, Ranjay Krishna

cs.AI

Аннотация

Визуальное мышление, являющееся краеугольным камнем человеческого интеллекта, охватывает сложные перцептивные и логические процессы, необходимые для решения разнообразных визуальных задач. Хотя достижения в области компьютерного зрения привели к созданию мощных моделей для различных перцептивных задач, их использование для общего визуального мышления остается сложной задачей. Предыдущие работы демонстрируют, что улучшение производительности крупных языковых моделей (LLM) за счет интеграции с моделями зрения через контролируемое дообучение имеет ключевые ограничения, такие как дорогостоящая генерация данных, зависимость от тщательной фильтрации данных и слабая обобщаемость. Для решения этих проблем мы предлагаем ReVPT, который усиливает способности мультимодальных LLM к рассуждению и использованию визуальных инструментов с помощью обучения с подкреплением. Мы представляем новый алгоритм RL, основанный на GRPO, предназначенный для обучения моделей работе с набором из четырех визуальных инструментов. В ходе обширных экспериментов мы показываем, что наш метод достигает наилучших результатов на нескольких бенчмарках с высокой долей восприятия, включая SAT, CV-Bench, BLINK и MMStar, значительно превосходя базовые подходы с контролируемым и текстовым RL дообучением. Примечательно, что наши модели ReVPT-3B и ReVPT-7B превосходят инструктивные модели на 9.03% и 9.44% соответственно на CV-Bench. Наконец, мы предоставляем сообществу новые инсайты по использованию визуальных инструментов на основе RL благодаря обширным исследованиям. Наш код доступен по адресу https://github.com/ls-kelvin/REVPT.

English

Visual reasoning, a cornerstone of human intelligence, encompasses complex perceptual and logical processes essential for solving diverse visual problems. While advances in computer vision have produced powerful models for various perceptual tasks, leveraging these for general visual reasoning remains challenging. Prior work demonstrates that augmenting LLMs with vision models via supervised finetuning improves performance, but faces key limitations such as expensive data generation, reliance on careful data filtering, and poor generalization. To address these issues, we propose ReVPT to enhance multi-modal LLMs' abilities to reason about and use visual tools through reinforcement learning. We introduce a novel RL algorithm based on GRPO, designed to train models to reason with a suite of four visual tools. Through extensive experiments, we show that our method achieves state-of-the-art performance on several perception-heavy benchmarks, including SAT, CV-Bench, BLINK and MMStar, significantly outperforming the supervised and text-based RL finetuning baselines. Notably, Our ReVPT-3B and ReVPT-7B outperform the instruct models by 9.03% and 9.44% on CV-Bench. Finally, we bring to the community new insights on RL-based visual tool-usage through extensive ablations. Our code is available at https://github.com/ls-kelvin/REVPT.