Mais Pensamento, Menos Precisão? Sobre a Natureza Dual do Raciocínio em Modelos de Visão e Linguagem

Resumo

O raciocínio emergiu como uma capacidade fundamental em Modelos de Linguagem de Grande Escala (LLMs). Através do Aprendizado por Reforço (RL), tipicamente utilizando a Otimização de Política Relativa em Grupo (GRPO), esses modelos são capazes de resolver tarefas complexas, como geração de códigos e problemas matemáticos. Com base nesses avanços, pesquisas recentes buscaram estender o raciocínio para Modelos de Visão e Linguagem (VLMs), obtendo resultados promissores em diversas tarefas visuais. Apesar desse progresso, nosso estudo revela a natureza dual do raciocínio multimodal: enquanto ele aprimora substancialmente a inferência lógica e facilita o desempenho em problemas desafiadores, pode gradualmente prejudicar a ancoragem perceptiva, levando a falhas de reconhecimento em questões visuais básicas. Através de análises adicionais, atribuímos esse fenômeno ao esquecimento visual, no qual o raciocínio prolongado faz com que o modelo ignore progressivamente as entradas visuais. Para resolver isso, propomos a Otimização de Política Ancorada em Visão (VAPO), um método simples, porém eficaz, que direciona explicitamente o processo de raciocínio para trajetórias visualmente fundamentadas. Nosso modelo resultante, o VAPO-Thinker-7B, fortalece significativamente a dependência do modelo em informações visuais e alcança novos resultados de ponta em uma ampla gama de benchmarks estabelecidos. Página do projeto: https://xytian1008.github.io/VAPO/

English

Reasoning has emerged as a pivotal capability in Large Language Models (LLMs). Through Reinforcement Learning (RL), typically Group Relative Policy Optimization (GRPO), these models are able to solve complex tasks such as mathematics and code generation. Building on these advances, recent research has sought to extend reasoning to Vision-Language Models (VLMs), yielding promising results across diverse visual tasks. Despite this progress, our study uncovers the dual nature of multimodal reasoning: while it substantially enhances logical inference and facilitates performance on challenging problems, it may gradually impair perceptual grounding, leading to recognition failures on otherwise basic visual questions. Through further analysis, we attribute this phenomenon to visual forgetting, wherein prolonged reasoning causes the model to increasingly disregard visual input. To address this, we propose Vision-Anchored Policy Optimization (VAPO), a simple yet effective method that explicitly steers the reasoning process toward visually grounded trajectories. Our result model, VAPO-Thinker-7B, significantly strengthens the model's reliance on visual information and achieves new state-of-the-art results on a wide range of established benchmarks. Project page: https://xytian1008.github.io/VAPO/

Mais Pensamento, Menos Precisão? Sobre a Natureza Dual do Raciocínio em Modelos de Visão e Linguagem

More Thought, Less Accuracy? On the Dual Nature of Reasoning in Vision-Language Models

Resumo

Support