Keten-van-Gedachten-Denken Vermindert de Visueel-Ruimtelijke Redeneervaardigheden van Multimodale LLM's
Chain-of-Thought Degrades Visual Spatial Reasoning Capabilities of Multimodal LLMs
April 17, 2026
Auteurs: Sai Srinivas Kancheti, Aditya Sanjiv Kanade, Vineeth N. Balasubramanian, Tanuja Ganu
cs.AI
Samenvatting
Multimodale Redeneermodellen (MRM's) die gebruikmaken van Chain-of-Thought (CoT)-gebaseerd denken hebben een revolutie teweeggebracht in wiskundig en logisch probleemoplossen. Wij tonen echter aan dat dit paradigma moeite heeft met gegeneraliseerde ruimtelijke intelligentie. Wij voeren een uitgebreide evaluatie uit van zeventien modellen over dertien ruimtelijke benchmarks en identificeren een kritieke kloof: CoT-prompting verslechtert consequent de prestaties bij visueel ruimtelijk redeneren. Verder tonen wij door middel van een nieuwe No-Image++-ablatie aan dat MRM's en met CoT-geprompte MLM's lijden onder ernstige shortcut-learning, en dat zij visuele details hallucineren op basis van tekstuele priors, zelfs wanneer de afbeelding afwezig is. Deze bevindingen trekken de effectiviteit van uitsluitend tekstgebaseerde CoT voor ruimtelijke taken in twijfel en benadrukken de noodzaak van visie-gecentreerde redeneerparadigma's.
English
Multimodal Reasoning Models (MRMs) leveraging Chain-of-Thought (CoT) based thinking have revolutionized mathematical and logical problem-solving. However, we show that this paradigm struggles with generalized spatial intelligence. We perform a comprehensive evaluation of seventeen models across thirteen spatial benchmarks and identify a critical gap: CoT prompting consistently degrades performance in visual spatial reasoning. Furthermore, through a novel No-Image++ ablation, we demonstrate that MRMs and CoT prompted MLMs suffer from severe shortcut learning, and hallucinate visual details from textual priors even when the image is absent. These findings challenge the efficacy of text-only CoT for spatial tasks and underscore the need for vision-centric reasoning paradigms.