Warum ist logisches Denken wichtig? Ein Überblick über Fortschritte im multimodalen Denken (v1)

Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1)

April 4, 2025

Autoren: Jing Bi, Susan Liang, Xiaofei Zhou, Pinxin Liu, Junjia Guo, Yunlong Tang, Luchuan Song, Chao Huang, Guangyu Sun, Jinxi He, Jiarui Wu, Shu Yang, Daoan Zhang, Chen Chen, Lianggong Bruce Wen, Zhang Liu, Jiebo Luo, Chenliang Xu

cs.AI

Zusammenfassung

Das logische Denken ist zentral für die menschliche Intelligenz und ermöglicht strukturierte Problemlösungen in vielfältigen Aufgaben. Jüngste Fortschritte bei großen Sprachmodellen (LLMs) haben deren Fähigkeiten im Bereich des arithmetischen, des gesunden Menschenverstands und des symbolischen Denkens erheblich verbessert. Die effektive Erweiterung dieser Fähigkeiten auf multimodale Kontexte – in denen Modelle sowohl visuelle als auch textuelle Eingaben integrieren müssen – bleibt jedoch eine erhebliche Herausforderung. Multimodales Denken führt zu Komplexitäten, wie der Handhabung widersprüchlicher Informationen über verschiedene Modalitäten hinweg, was von Modellen fortgeschrittene Interpretationsstrategien erfordert. Die Bewältigung dieser Herausforderungen erfordert nicht nur ausgeklügelte Algorithmen, sondern auch robuste Methoden zur Bewertung der Genauigkeit und Kohärenz des Denkens. Dieser Artikel bietet eine prägnante und dennoch aufschlussreiche Übersicht über Denktechniken in textbasierten und multimodalen LLMs. Durch einen gründlichen und aktuellen Vergleich formulieren wir die zentralen Herausforderungen und Chancen des logischen Denkens klar und heben praktische Methoden zur Nachschulungsoptimierung und Inferenz zur Testzeit hervor. Unsere Arbeit liefert wertvolle Einblicke und Anleitungen, verbindet theoretische Rahmenbedingungen mit praktischen Implementierungen und setzt klare Richtungen für zukünftige Forschung.

English

Reasoning is central to human intelligence, enabling structured problem-solving across diverse tasks. Recent advances in large language models (LLMs) have greatly enhanced their reasoning abilities in arithmetic, commonsense, and symbolic domains. However, effectively extending these capabilities into multimodal contexts-where models must integrate both visual and textual inputs-continues to be a significant challenge. Multimodal reasoning introduces complexities, such as handling conflicting information across modalities, which require models to adopt advanced interpretative strategies. Addressing these challenges involves not only sophisticated algorithms but also robust methodologies for evaluating reasoning accuracy and coherence. This paper offers a concise yet insightful overview of reasoning techniques in both textual and multimodal LLMs. Through a thorough and up-to-date comparison, we clearly formulate core reasoning challenges and opportunities, highlighting practical methods for post-training optimization and test-time inference. Our work provides valuable insights and guidance, bridging theoretical frameworks and practical implementations, and sets clear directions for future research.