Aprendizado por Reforço Fundamentado para Raciocínio Visual

Resumo

Embora o aprendizado por reforço (RL) sobre cadeias de pensamento tenha avançado significativamente os modelos de linguagem em tarefas como matemática e codificação, o raciocínio visual introduz uma complexidade adicional ao exigir que os modelos direcionem a atenção visual, interpretem entradas perceptivas e fundamentem o raciocínio abstrato em evidências espaciais. Apresentamos o ViGoRL (Visually Grounded Reinforcement Learning), um modelo de visão e linguagem treinado com RL para ancorar explicitamente cada etapa de raciocínio a coordenadas visuais específicas. Inspirado pela tomada de decisão visual humana, o ViGoRL aprende a produzir traços de raciocínio espacialmente fundamentados, guiando a atenção visual para regiões relevantes para a tarefa em cada etapa. Quando uma exploração detalhada é necessária, nossa nova estrutura de RL multi-turn permite que o modelo amplie dinamicamente as coordenadas previstas à medida que o raciocínio se desenrola. Em um conjunto diversificado de benchmarks de raciocínio visual—incluindo SAT-2 e BLINK para raciocínio espacial, V*bench para busca visual, e ScreenSpot e VisualWebArena para fundamentação baseada na web—o ViGoRL supera consistentemente tanto o ajuste fino supervisionado quanto as linhas de base convencionais de RL que carecem de mecanismos explícitos de fundamentação. A incorporação do RL multi-turn com feedback visual ampliado melhora significativamente o desempenho do ViGoRL na localização de pequenos elementos de GUI e na busca visual, alcançando 86,4% no V*Bench. Além disso, descobrimos que a fundamentação amplifica outros comportamentos visuais, como a exploração de regiões, a definição de subobjetivos fundamentados e a verificação visual. Por fim, avaliações humanas mostram que as referências visuais do modelo não são apenas espacialmente precisas, mas também úteis para entender as etapas de raciocínio do modelo. Nossos resultados mostram que o RL visualmente fundamentado é um paradigma forte para dotar os modelos de raciocínio visual de propósito geral.

English

While reinforcement learning (RL) over chains of thought has significantly advanced language models in tasks such as mathematics and coding, visual reasoning introduces added complexity by requiring models to direct visual attention, interpret perceptual inputs, and ground abstract reasoning in spatial evidence. We introduce ViGoRL (Visually Grounded Reinforcement Learning), a vision-language model trained with RL to explicitly anchor each reasoning step to specific visual coordinates. Inspired by human visual decision-making, ViGoRL learns to produce spatially grounded reasoning traces, guiding visual attention to task-relevant regions at each step. When fine-grained exploration is required, our novel multi-turn RL framework enables the model to dynamically zoom into predicted coordinates as reasoning unfolds. Across a diverse set of visual reasoning benchmarks--including SAT-2 and BLINK for spatial reasoning, V*bench for visual search, and ScreenSpot and VisualWebArena for web-based grounding--ViGoRL consistently outperforms both supervised fine-tuning and conventional RL baselines that lack explicit grounding mechanisms. Incorporating multi-turn RL with zoomed-in visual feedback significantly improves ViGoRL's performance on localizing small GUI elements and visual search, achieving 86.4% on V*Bench. Additionally, we find that grounding amplifies other visual behaviors such as region exploration, grounded subgoal setting, and visual verification. Finally, human evaluations show that the model's visual references are not only spatially accurate but also helpful for understanding model reasoning steps. Our results show that visually grounded RL is a strong paradigm for imbuing models with general-purpose visual reasoning.

Aprendizado por Reforço Fundamentado para Raciocínio Visual

Grounded Reinforcement Learning for Visual Reasoning

Resumo

Support