Razonamiento de Cadena de Pensamiento Multimodal: Una Revisión Exhaustiva

Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey

March 16, 2025

Autores: Yaoting Wang, Shengqiong Wu, Yuecheng Zhang, William Wang, Ziwei Liu, Jiebo Luo, Hao Fei

cs.AI

Resumen

Al extender la ventaja del razonamiento de cadena de pensamiento (CoT, por sus siglas en inglés) en procesos paso a paso similares a los humanos a contextos multimodales, el razonamiento multimodal CoT (MCoT) ha atraído recientemente una atención significativa en la investigación, especialmente en su integración con modelos de lenguaje multimodal de gran escala (MLLMs). Los estudios existentes sobre MCoT diseñan diversas metodologías y paradigmas de razonamiento innovadores para abordar los desafíos únicos de imágenes, videos, habla, audio, datos 3D y datos estructurados en diferentes modalidades, logrando un éxito considerable en aplicaciones como robótica, atención médica, conducción autónoma y generación multimodal. Sin embargo, el MCoT aún presenta desafíos y oportunidades distintivos que requieren mayor atención para garantizar un desarrollo constante en este campo, donde, lamentablemente, falta una revisión actualizada de este dominio. Para cerrar esta brecha, presentamos la primera revisión sistemática del razonamiento MCoT, aclarando los conceptos y definiciones fundamentales relevantes. Ofrecemos una taxonomía exhaustiva y un análisis en profundidad de las metodologías actuales desde diversas perspectivas en distintos escenarios de aplicación. Además, proporcionamos insights sobre los desafíos existentes y las futuras direcciones de investigación, con el objetivo de fomentar la innovación hacia la inteligencia artificial general multimodal (AGI multimodal).

English

By extending the advantage of chain-of-thought (CoT) reasoning in human-like step-by-step processes to multimodal contexts, multimodal CoT (MCoT) reasoning has recently garnered significant research attention, especially in the integration with multimodal large language models (MLLMs). Existing MCoT studies design various methodologies and innovative reasoning paradigms to address the unique challenges of image, video, speech, audio, 3D, and structured data across different modalities, achieving extensive success in applications such as robotics, healthcare, autonomous driving, and multimodal generation. However, MCoT still presents distinct challenges and opportunities that require further focus to ensure consistent thriving in this field, where, unfortunately, an up-to-date review of this domain is lacking. To bridge this gap, we present the first systematic survey of MCoT reasoning, elucidating the relevant foundational concepts and definitions. We offer a comprehensive taxonomy and an in-depth analysis of current methodologies from diverse perspectives across various application scenarios. Furthermore, we provide insights into existing challenges and future research directions, aiming to foster innovation toward multimodal AGI.