Leicht betrachten, schwer denken: Was multimodales Chain-of-Thought-Reasoning kann und was nicht

Zusammenfassung

Chain-of-Thought (CoT) hat sich zu einer Standardmethode zur Verbesserung der Denkfähigkeiten großer Sprachmodelle (Large Language Models, LLMs) entwickelt, indem schrittweise Denkprozesse angeregt werden; seine Wirksamkeit bei multimodalen Aufgaben bleibt jedoch unklar. In dieser Arbeit zielen wir darauf ab, die zentrale Frage systematisch zu untersuchen: Was kann multimodales Chain-of-Thought-Denken leisten, und wo und warum stößt es an seine Grenzen? Zu diesem Zweck evaluieren wir 12 multimodale Aufgaben aus den Kategorien Wahrnehmung und Denken unter Verwendung von 14 Nicht-Denk-Modellen (non-reasoning models) und 8 Denk-Modellen (reasoning models). Unsere Analyse offenbart mehrere wichtige Erkenntnisse: (1) CoT ist kein kostenloses Mittagessen und sollte je nach den spezifischen Anforderungen jeder Aufgabe selektiv eingesetzt werden. Bei Wahrnehmungsaufgaben kann CoT zu unerwünschten Nebeneffekten führen, wie etwa einer verminderten Leistung bei der visuellen Verankerung (visual grounding) und der Objektzählung. Im Gegensatz dazu erweist es sich als wirksam für Denkaufgaben, die mathematisches, wissenschaftliches und mehrbildliches Denken umfassen. (2) Im Vergleich zu den ursprünglichen Modellen erzielen bestehende quelloffene multimodale Denkmodelle oft nur marginale Verbesserungen insgesamt, möglicherweise aufgrund einer übermäßigen Betonung des mathematischen Denkens zu Lasten breiterer Fähigkeiten. (3) Das visuelle Denken bleibt ein zentraler Engpass für das aktuelle multimodale CoT, da Modelle ein Muster von „Leichtem Schauen, Schwerem Denken“ aufweisen, bei dem die verbale Reflexion während des Denkprozesses an- und abschwillt, während die visuelle Reflexion stetig abnimmt. Diese Ergebnisse deuten darauf hin, dass multimodales CoT zwar relativ gut mit verbaler Reflexion umgeht, ihm jedoch die Fähigkeit fehlt, während des gesamten Denkprozesses eine tiefe visuelle Introspektion aufrechtzuerhalten.

English

Chain-of-Thought (CoT) has become a standard method for improving reasoning capabilities in large language models (LLMs) by eliciting step-by-step thinking, but its effectiveness in multimodal tasks remains unclear. In this paper, we aim to systematically investigate the key question: What can multimodal Chain-of-Thought reasoning do, and where and why does it fall short? To this end, we evaluate 12 multimodal tasks across perception and reasoning categories using both 14 non-reasoning models and 8 reasoning models. Our analysis reveals several important findings: (1) CoT is not a free lunch and should be used selectively depending on the specific requirements of each task. For perception tasks, CoT can lead to undesirable side effects, such as reduced performance in visual grounding and object counting. In contrast, it proves effective for reasoning tasks involving mathematical, scientific, and multi-image reasoning; (2) Compared to original models, existing open-source multimodal reasoning models often yield only marginal overall improvements, possibly due to an overemphasis on mathematical reasoning at the expense of broader capabilities; (3) Visual reasoning remains a key bottleneck for current multimodal CoT, as models exhibit a Look Light, Think Heavy pattern where verbal reflection rises and falls during reasoning, whereas visual reflection consistently diminishes. These findings suggest that while multimodal CoT handles verbal reflection relatively well, it lacks the ability to maintain deep visual introspection throughout the reasoning process.