Обоснованное обучение с подкреплением для визуального анализа

Grounded Reinforcement Learning for Visual Reasoning

May 29, 2025

Авторы: Gabriel Sarch, Snigdha Saha, Naitik Khandelwal, Ayush Jain, Michael J. Tarr, Aviral Kumar, Katerina Fragkiadaki

cs.AI

Аннотация

Хотя обучение с подкреплением (RL) на цепочках рассуждений значительно продвинуло языковые модели в задачах, таких как математика и программирование, визуальное рассуждение вносит дополнительную сложность, требуя от моделей управления визуальным вниманием, интерпретации перцептивных данных и привязки абстрактных рассуждений к пространственным доказательствам. Мы представляем ViGoRL (Visually Grounded Reinforcement Learning), модель обработки визуальной информации и языка, обученную с использованием RL для явной привязки каждого шага рассуждений к конкретным визуальным координатам. Вдохновленная человеческим визуальным принятием решений, ViGoRL учится создавать пространственно обоснованные траектории рассуждений, направляя визуальное внимание на релевантные для задачи области на каждом шаге. Когда требуется детальное исследование, наша новая многошаговая RL-структура позволяет модели динамически увеличивать масштаб в предсказанных координатах по мере развертывания рассуждений. На разнообразных наборах тестов для визуального рассуждения — включая SAT-2 и BLINK для пространственного рассуждения, V*bench для визуального поиска, а также ScreenSpot и VisualWebArena для веб-ориентированной привязки — ViGoRL стабильно превосходит как модели с контролируемой тонкой настройкой, так и традиционные RL-базовые подходы, лишенные явных механизмов привязки. Включение многошагового RL с увеличенным визуальным откликом значительно улучшает производительность ViGoRL в локализации мелких элементов графического интерфейса и визуальном поиске, достигая 86,4% на V*Bench. Кроме того, мы обнаруживаем, что привязка усиливает другие визуальные поведенческие аспекты, такие как исследование областей, установка обоснованных подцелей и визуальная проверка. Наконец, человеческие оценки показывают, что визуальные ссылки модели не только пространственно точны, но и полезны для понимания шагов рассуждений модели. Наши результаты демонстрируют, что визуально обоснованное RL является мощной парадигмой для наделения моделей универсальными способностями к визуальному рассуждению.

English

While reinforcement learning (RL) over chains of thought has significantly advanced language models in tasks such as mathematics and coding, visual reasoning introduces added complexity by requiring models to direct visual attention, interpret perceptual inputs, and ground abstract reasoning in spatial evidence. We introduce ViGoRL (Visually Grounded Reinforcement Learning), a vision-language model trained with RL to explicitly anchor each reasoning step to specific visual coordinates. Inspired by human visual decision-making, ViGoRL learns to produce spatially grounded reasoning traces, guiding visual attention to task-relevant regions at each step. When fine-grained exploration is required, our novel multi-turn RL framework enables the model to dynamically zoom into predicted coordinates as reasoning unfolds. Across a diverse set of visual reasoning benchmarks--including SAT-2 and BLINK for spatial reasoning, V*bench for visual search, and ScreenSpot and VisualWebArena for web-based grounding--ViGoRL consistently outperforms both supervised fine-tuning and conventional RL baselines that lack explicit grounding mechanisms. Incorporating multi-turn RL with zoomed-in visual feedback significantly improves ViGoRL's performance on localizing small GUI elements and visual search, achieving 86.4% on V*Bench. Additionally, we find that grounding amplifies other visual behaviors such as region exploration, grounded subgoal setting, and visual verification. Finally, human evaluations show that the model's visual references are not only spatially accurate but also helpful for understanding model reasoning steps. Our results show that visually grounded RL is a strong paradigm for imbuing models with general-purpose visual reasoning.