Plus de réflexion, moins de précision ? Sur la double nature du raisonnement dans les modèles vision-langage
More Thought, Less Accuracy? On the Dual Nature of Reasoning in Vision-Language Models
September 30, 2025
papers.authors: Xinyu Tian, Shu Zou, Zhaoyuan Yang, Mengqi He, Fabian Waschkowski, Lukas Wesemann, Peter Tu, Jing Zhang
cs.AI
papers.abstract
Le raisonnement est devenu une capacité essentielle dans les grands modèles de langage (LLM). Grâce à l'apprentissage par renforcement (RL), généralement via l'optimisation de politique relative par groupe (GRPO), ces modèles sont capables de résoudre des tâches complexes telles que les mathématiques et la génération de code. S'appuyant sur ces avancées, des recherches récentes ont cherché à étendre le raisonnement aux modèles vision-langage (VLM), obtenant des résultats prometteurs sur diverses tâches visuelles. Malgré ces progrès, notre étude révèle la double nature du raisonnement multimodal : bien qu'il améliore considérablement l'inférence logique et facilite la performance sur des problèmes difficiles, il peut progressivement altérer l'ancrage perceptuel, entraînant des échecs de reconnaissance sur des questions visuelles pourtant basiques. À travers une analyse approfondie, nous attribuons ce phénomène à l'oubli visuel, où un raisonnement prolongé amène le modèle à négliger de plus en plus les informations visuelles. Pour y remédier, nous proposons l'optimisation de politique ancrée visuellement (VAPO), une méthode simple mais efficace qui oriente explicitement le processus de raisonnement vers des trajectoires visuellement ancrées. Notre modèle résultant, VAPO-Thinker-7B, renforce significativement la dépendance du modèle aux informations visuelles et établit de nouveaux records sur un large éventail de benchmarks établis. Page du projet : https://xytian1008.github.io/VAPO/
English
Reasoning has emerged as a pivotal capability in Large Language Models
(LLMs). Through Reinforcement Learning (RL), typically Group Relative Policy
Optimization (GRPO), these models are able to solve complex tasks such as
mathematics and code generation. Building on these advances, recent research
has sought to extend reasoning to Vision-Language Models (VLMs), yielding
promising results across diverse visual tasks. Despite this progress, our study
uncovers the dual nature of multimodal reasoning: while it substantially
enhances logical inference and facilitates performance on challenging problems,
it may gradually impair perceptual grounding, leading to recognition failures
on otherwise basic visual questions. Through further analysis, we attribute
this phenomenon to visual forgetting, wherein prolonged reasoning causes the
model to increasingly disregard visual input. To address this, we propose
Vision-Anchored Policy Optimization (VAPO), a simple yet effective method that
explicitly steers the reasoning process toward visually grounded trajectories.
Our result model, VAPO-Thinker-7B, significantly strengthens the model's
reliance on visual information and achieves new state-of-the-art results on a
wide range of established benchmarks. Project page:
https://xytian1008.github.io/VAPO/