Raisonnement multimodal en chaîne de pensée : une étude approfondie

Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey

March 16, 2025

Auteurs: Yaoting Wang, Shengqiong Wu, Yuecheng Zhang, William Wang, Ziwei Liu, Jiebo Luo, Hao Fei

cs.AI

Résumé

En étendant les avantages du raisonnement en chaîne de pensée (CoT) à des processus étape par étape de type humain dans des contextes multimodaux, le raisonnement multimodal CoT (MCoT) a récemment suscité une attention significative dans la recherche, en particulier dans son intégration avec les grands modèles de langage multimodaux (MLLMs). Les études existantes sur le MCoT conçoivent diverses méthodologies et paradigmes de raisonnement innovants pour relever les défis uniques posés par les images, les vidéos, la parole, l'audio, les données 3D et les données structurées à travers différentes modalités, obtenant des succès notables dans des applications telles que la robotique, la santé, la conduite autonome et la génération multimodale. Cependant, le MCoT présente encore des défis et des opportunités distincts qui nécessitent une attention accrue pour assurer un développement constant dans ce domaine, où, malheureusement, une revue à jour fait défaut. Pour combler cette lacune, nous présentons la première étude systématique sur le raisonnement MCoT, en clarifiant les concepts et définitions fondamentaux pertinents. Nous proposons une taxonomie complète et une analyse approfondie des méthodologies actuelles sous divers angles et dans différents scénarios d'application. De plus, nous offrons des perspectives sur les défis existants et les futures directions de recherche, dans le but de stimuler l'innovation vers une intelligence artificielle générale (AGI) multimodale.

English

By extending the advantage of chain-of-thought (CoT) reasoning in human-like step-by-step processes to multimodal contexts, multimodal CoT (MCoT) reasoning has recently garnered significant research attention, especially in the integration with multimodal large language models (MLLMs). Existing MCoT studies design various methodologies and innovative reasoning paradigms to address the unique challenges of image, video, speech, audio, 3D, and structured data across different modalities, achieving extensive success in applications such as robotics, healthcare, autonomous driving, and multimodal generation. However, MCoT still presents distinct challenges and opportunities that require further focus to ensure consistent thriving in this field, where, unfortunately, an up-to-date review of this domain is lacking. To bridge this gap, we present the first systematic survey of MCoT reasoning, elucidating the relevant foundational concepts and definitions. We offer a comprehensive taxonomy and an in-depth analysis of current methodologies from diverse perspectives across various application scenarios. Furthermore, we provide insights into existing challenges and future research directions, aiming to foster innovation toward multimodal AGI.