Ragionamento Multimodale a Catena di Pensiero: Una Rassegna Completa

Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey

March 16, 2025

Autori: Yaoting Wang, Shengqiong Wu, Yuecheng Zhang, William Wang, Ziwei Liu, Jiebo Luo, Hao Fei

cs.AI

Abstract

Estendendo il vantaggio del ragionamento a catena di pensiero (CoT) nei processi passo-passo simili a quelli umani ai contesti multimodali, il ragionamento multimodale CoT (MCoT) ha recentemente attirato una significativa attenzione della ricerca, specialmente nell'integrazione con i modelli linguistici multimodali di grandi dimensioni (MLLM). Gli studi esistenti sull'MCoT progettano varie metodologie e paradigmi di ragionamento innovativi per affrontare le sfide uniche di immagini, video, parlato, audio, dati 3D e strutturati attraverso diverse modalità, ottenendo un ampio successo in applicazioni come la robotica, l'assistenza sanitaria, la guida autonoma e la generazione multimodale. Tuttavia, l'MCoT presenta ancora sfide e opportunità distinte che richiedono ulteriore attenzione per garantire un progresso costante in questo campo, dove, purtroppo, manca una revisione aggiornata di questo dominio. Per colmare questa lacuna, presentiamo la prima indagine sistematica sul ragionamento MCoT, chiarendo i concetti e le definizioni fondamentali rilevanti. Offriamo una tassonomia completa e un'analisi approfondita delle metodologie attuali da diverse prospettive attraverso vari scenari applicativi. Inoltre, forniamo approfondimenti sulle sfide esistenti e sulle future direzioni di ricerca, con l'obiettivo di promuovere l'innovazione verso l'AGI multimodale.

English

By extending the advantage of chain-of-thought (CoT) reasoning in human-like step-by-step processes to multimodal contexts, multimodal CoT (MCoT) reasoning has recently garnered significant research attention, especially in the integration with multimodal large language models (MLLMs). Existing MCoT studies design various methodologies and innovative reasoning paradigms to address the unique challenges of image, video, speech, audio, 3D, and structured data across different modalities, achieving extensive success in applications such as robotics, healthcare, autonomous driving, and multimodal generation. However, MCoT still presents distinct challenges and opportunities that require further focus to ensure consistent thriving in this field, where, unfortunately, an up-to-date review of this domain is lacking. To bridge this gap, we present the first systematic survey of MCoT reasoning, elucidating the relevant foundational concepts and definitions. We offer a comprehensive taxonomy and an in-depth analysis of current methodologies from diverse perspectives across various application scenarios. Furthermore, we provide insights into existing challenges and future research directions, aiming to foster innovation toward multimodal AGI.