시각적 추론을 위한 기반 강화 학습

Grounded Reinforcement Learning for Visual Reasoning

May 29, 2025

저자: Gabriel Sarch, Snigdha Saha, Naitik Khandelwal, Ayush Jain, Michael J. Tarr, Aviral Kumar, Katerina Fragkiadaki

cs.AI

초록

사고의 연쇄를 통한 강화 학습(Reinforcement Learning, RL)은 수학 및 코딩과 같은 작업에서 언어 모델을 크게 발전시켰지만, 시각적 추론은 모델이 시각적 주의를 유도하고 지각 입력을 해석하며 추상적 추론을 공간적 증거에 기반을 두도록 요구함으로써 추가적인 복잡성을 도입합니다. 우리는 ViGoRL(Visually Grounded Reinforcement Learning)을 소개합니다. 이는 각 추론 단계를 명시적으로 특정 시각적 좌표에 고정하도록 RL로 훈련된 시각-언어 모델입니다. 인간의 시각적 의사결정에서 영감을 받은 ViGoRL은 공간적으로 고정된 추론 흔적을 생성하고, 각 단계에서 작업과 관련된 영역으로 시각적 주의를 안내하는 방법을 학습합니다. 세밀한 탐색이 필요할 때, 우리의 새로운 다중 단계 RL 프레임워크는 모델이 추론이 전개됨에 따라 예측된 좌표로 동적으로 확대할 수 있도록 합니다. 공간 추론을 위한 SAT-2 및 BLINK, 시각적 탐색을 위한 V*bench, 웹 기반 고정을 위한 ScreenSpot 및 VisualWebArena를 포함한 다양한 시각적 추론 벤치마크에서 ViGoRL은 명시적인 고정 메커니즘이 없는 지도 미세 조정 및 기존 RL 기준선을 지속적으로 능가합니다. 확대된 시각적 피드백과 함께 다중 단계 RL을 통합하면 ViGoRL의 작은 GUI 요소 위치 지정 및 시각적 탐색 성능이 크게 향상되어 V*Bench에서 86.4%를 달성합니다. 또한, 고정은 영역 탐색, 고정된 하위 목표 설정, 시각적 검증과 같은 다른 시각적 행동을 증폭시키는 것으로 나타났습니다. 마지막으로, 인간 평가는 모델의 시각적 참조가 공간적으로 정확할 뿐만 아니라 모델 추론 단계를 이해하는 데 도움이 된다는 것을 보여줍니다. 우리의 결과는 시각적으로 고정된 RL이 모델에 일반적인 시각적 추론 능력을 부여하는 강력한 패러다임임을 보여줍니다.

English

While reinforcement learning (RL) over chains of thought has significantly advanced language models in tasks such as mathematics and coding, visual reasoning introduces added complexity by requiring models to direct visual attention, interpret perceptual inputs, and ground abstract reasoning in spatial evidence. We introduce ViGoRL (Visually Grounded Reinforcement Learning), a vision-language model trained with RL to explicitly anchor each reasoning step to specific visual coordinates. Inspired by human visual decision-making, ViGoRL learns to produce spatially grounded reasoning traces, guiding visual attention to task-relevant regions at each step. When fine-grained exploration is required, our novel multi-turn RL framework enables the model to dynamically zoom into predicted coordinates as reasoning unfolds. Across a diverse set of visual reasoning benchmarks--including SAT-2 and BLINK for spatial reasoning, V*bench for visual search, and ScreenSpot and VisualWebArena for web-based grounding--ViGoRL consistently outperforms both supervised fine-tuning and conventional RL baselines that lack explicit grounding mechanisms. Incorporating multi-turn RL with zoomed-in visual feedback significantly improves ViGoRL's performance on localizing small GUI elements and visual search, achieving 86.4% on V*Bench. Additionally, we find that grounding amplifies other visual behaviors such as region exploration, grounded subgoal setting, and visual verification. Finally, human evaluations show that the model's visual references are not only spatially accurate but also helpful for understanding model reasoning steps. Our results show that visually grounded RL is a strong paradigm for imbuing models with general-purpose visual reasoning.