Wahrnehmung, Denken, Schlussfolgern und Planen: Ein Überblick über große multimodale Reasoning-Modelle

Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models

May 8, 2025

Autoren: Yunxin Li, Zhenyu Liu, Zitao Li, Xuanyu Zhang, Zhenran Xu, Xinyu Chen, Haoyuan Shi, Shenyuan Jiang, Xintong Wang, Jifang Wang, Shouzheng Huang, Xinping Zhao, Borui Jiang, Lanqing Hong, Longyue Wang, Zhuotao Tian, Baoxing Huai, Wenhan Luo, Weihua Luo, Zheng Zhang, Baotian Hu, Min Zhang

cs.AI

Zusammenfassung

Das logische Denken liegt im Kern der Intelligenz und prägt die Fähigkeit, Entscheidungen zu treffen, Schlussfolgerungen zu ziehen und über verschiedene Domänen hinweg zu generalisieren. In der künstlichen Intelligenz wird das logische Denken zunehmend essenziell, da Systeme in offenen, unsicheren und multimodalen Umgebungen operieren, um robustes und adaptives Verhalten zu ermöglichen. Große Multimodale Reasoning-Modelle (LMRMs) haben sich als vielversprechendes Paradigma herausgestellt, das Modalitäten wie Text, Bilder, Audio und Video integriert, um komplexe Denkfähigkeiten zu unterstützen und eine umfassende Wahrnehmung, präzises Verständnis und tiefes logisches Denken anzustreben. Mit dem Fortschritt der Forschung hat sich das multimodale Denken schnell von modularen, wahrnehmungsgesteuerten Pipelines zu einheitlichen, sprachzentrierten Frameworks entwickelt, die ein kohärenteres cross-modales Verständnis bieten. Während Instruction Tuning und Reinforcement Learning das Modell-Denken verbessert haben, bestehen weiterhin erhebliche Herausforderungen in der omni-modalen Generalisierung, der Tiefe des logischen Denkens und dem agentenbasierten Verhalten. Um diese Probleme anzugehen, präsentieren wir eine umfassende und strukturierte Übersicht über die Forschung zum multimodalen Denken, die entlang eines vierstufigen Entwicklungsplans organisiert ist, der die sich wandelnden Designphilosophien und aufkommenden Fähigkeiten des Feldes widerspiegelt. Zunächst betrachten wir frühe Ansätze, die auf aufgabenspezifischen Modulen basieren, bei denen das logische Denken implizit über die Stadien der Repräsentation, Ausrichtung und Fusion eingebettet war. Anschließend untersuchen wir neuere Ansätze, die das logische Denken in multimodale LLMs integrieren, wobei Fortschritte wie Multimodale Chain-of-Thought (MCoT) und multimodales Reinforcement Learning reichere und strukturiertere Denkketten ermöglichen. Schließlich diskutieren wir, basierend auf empirischen Erkenntnissen aus anspruchsvollen Benchmarks und experimentellen Fällen wie OpenAI O3 und O4-mini, die konzeptionelle Ausrichtung nativer großer multimodaler Reasoning-Modelle (N-LMRMs), die skalierbares, agentenbasiertes und adaptives Denken und Planen in komplexen, realen Umgebungen unterstützen sollen.

English

Reasoning lies at the heart of intelligence, shaping the ability to make decisions, draw conclusions, and generalize across domains. In artificial intelligence, as systems increasingly operate in open, uncertain, and multimodal environments, reasoning becomes essential for enabling robust and adaptive behavior. Large Multimodal Reasoning Models (LMRMs) have emerged as a promising paradigm, integrating modalities such as text, images, audio, and video to support complex reasoning capabilities and aiming to achieve comprehensive perception, precise understanding, and deep reasoning. As research advances, multimodal reasoning has rapidly evolved from modular, perception-driven pipelines to unified, language-centric frameworks that offer more coherent cross-modal understanding. While instruction tuning and reinforcement learning have improved model reasoning, significant challenges remain in omni-modal generalization, reasoning depth, and agentic behavior. To address these issues, we present a comprehensive and structured survey of multimodal reasoning research, organized around a four-stage developmental roadmap that reflects the field's shifting design philosophies and emerging capabilities. First, we review early efforts based on task-specific modules, where reasoning was implicitly embedded across stages of representation, alignment, and fusion. Next, we examine recent approaches that unify reasoning into multimodal LLMs, with advances such as Multimodal Chain-of-Thought (MCoT) and multimodal reinforcement learning enabling richer and more structured reasoning chains. Finally, drawing on empirical insights from challenging benchmarks and experimental cases of OpenAI O3 and O4-mini, we discuss the conceptual direction of native large multimodal reasoning models (N-LMRMs), which aim to support scalable, agentic, and adaptive reasoning and planning in complex, real-world environments.