Mehr Nachdenken, weniger Genauigkeit? Über die duale Natur des Denkens in Vision-Sprache-Modellen
More Thought, Less Accuracy? On the Dual Nature of Reasoning in Vision-Language Models
September 30, 2025
papers.authors: Xinyu Tian, Shu Zou, Zhaoyuan Yang, Mengqi He, Fabian Waschkowski, Lukas Wesemann, Peter Tu, Jing Zhang
cs.AI
papers.abstract
Das logische Denken hat sich als eine entscheidende Fähigkeit in großen Sprachmodellen (Large Language Models, LLMs) herausgestellt. Durch Reinforcement Learning (RL), typischerweise Group Relative Policy Optimization (GRPO), sind diese Modelle in der Lage, komplexe Aufgaben wie Mathematik und Code-Generierung zu lösen. Aufbauend auf diesen Fortschritten hat die jüngste Forschung versucht, das logische Denken auf Vision-Language Models (VLMs) auszuweiten, was vielversprechende Ergebnisse in verschiedenen visuellen Aufgaben erzielt hat. Trotz dieser Fortschritte deckt unsere Studie die duale Natur des multimodalen Denkens auf: Während es die logische Schlussfolgerung erheblich verbessert und die Leistung bei schwierigen Problemen erleichtert, kann es allmählich die perzeptuelle Verankerung beeinträchtigen, was zu Erkennungsfehlern bei ansonsten einfachen visuellen Fragen führt. Durch weitere Analysen führen wir dieses Phänomen auf visuelles Vergessen zurück, bei dem anhaltendes logisches Denken dazu führt, dass das Modell zunehmend visuelle Eingaben ignoriert. Um dies zu beheben, schlagen wir Vision-Anchored Policy Optimization (VAPO) vor, eine einfache, aber effektive Methode, die den Denkprozess explizit auf visuell verankerte Trajektorien lenkt. Unser resultierendes Modell, VAPO-Thinker-7B, stärkt die Abhängigkeit des Modells von visuellen Informationen erheblich und erzielt neue Spitzenergebnisse auf einer Vielzahl etablierter Benchmarks. Projektseite: https://xytian1008.github.io/VAPO/
English
Reasoning has emerged as a pivotal capability in Large Language Models
(LLMs). Through Reinforcement Learning (RL), typically Group Relative Policy
Optimization (GRPO), these models are able to solve complex tasks such as
mathematics and code generation. Building on these advances, recent research
has sought to extend reasoning to Vision-Language Models (VLMs), yielding
promising results across diverse visual tasks. Despite this progress, our study
uncovers the dual nature of multimodal reasoning: while it substantially
enhances logical inference and facilitates performance on challenging problems,
it may gradually impair perceptual grounding, leading to recognition failures
on otherwise basic visual questions. Through further analysis, we attribute
this phenomenon to visual forgetting, wherein prolonged reasoning causes the
model to increasingly disregard visual input. To address this, we propose
Vision-Anchored Policy Optimization (VAPO), a simple yet effective method that
explicitly steers the reasoning process toward visually grounded trajectories.
Our result model, VAPO-Thinker-7B, significantly strengthens the model's
reliance on visual information and achieves new state-of-the-art results on a
wide range of established benchmarks. Project page:
https://xytian1008.github.io/VAPO/