Kettenartiges Denken beeinträchtigt die visuell-räumlichen Fähigkeiten multimodaler LLMs
Chain-of-Thought Degrades Visual Spatial Reasoning Capabilities of Multimodal LLMs
April 17, 2026
Autoren: Sai Srinivas Kancheti, Aditya Sanjiv Kanade, Vineeth N. Balasubramanian, Tanuja Ganu
cs.AI
Zusammenfassung
Multimodale Reasoning-Modelle (MRMs), die auf Chain-of-Thought (CoT)-basiertem Denken aufbauen, haben das mathematische und logische Problemlösen revolutioniert. Wir zeigen jedoch, dass dieses Paradigma bei generalisierter räumlicher Intelligenz an Grenzen stößt. Wir führen eine umfassende Evaluation von siebzehn Modellen über dreizehn räumliche Benchmarks hinweg durch und identifizieren eine kritische Lücke: CoT-Prompting verschlechtert durchgängig die Leistung beim visuell-räumlichen Reasoning. Darüber hinaus demonstrieren wir durch eine neuartige No-Image++-Ablation, dass MRMs und CoT-gepimpte MLMs unter starkem Shortcut-Learning leiden und visuelle Details aus textuellen Priors halluzinieren, selbst wenn das Bild fehlt. Diese Ergebnisse stellen die Wirksamkeit von rein textbasiertem CoT für räumliche Aufgaben infrage und unterstreichen die Notwendigkeit von visumszentrischen Reasoning-Paradigmen.
English
Multimodal Reasoning Models (MRMs) leveraging Chain-of-Thought (CoT) based thinking have revolutionized mathematical and logical problem-solving. However, we show that this paradigm struggles with generalized spatial intelligence. We perform a comprehensive evaluation of seventeen models across thirteen spatial benchmarks and identify a critical gap: CoT prompting consistently degrades performance in visual spatial reasoning. Furthermore, through a novel No-Image++ ablation, we demonstrate that MRMs and CoT prompted MLMs suffer from severe shortcut learning, and hallucinate visual details from textual priors even when the image is absent. These findings challenge the efficacy of text-only CoT for spatial tasks and underscore the need for vision-centric reasoning paradigms.