Raciocínio em Cadeia de Pensamento Multimodal: Um Estudo Abrangente

Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey

March 16, 2025

Autores: Yaoting Wang, Shengqiong Wu, Yuecheng Zhang, William Wang, Ziwei Liu, Jiebo Luo, Hao Fei

cs.AI

Resumo

Ao estender a vantagem do raciocínio em cadeia de pensamento (CoT, do inglês "chain-of-thought") em processos passo a passo semelhantes aos humanos para contextos multimodais, o raciocínio multimodal CoT (MCoT) tem recentemente atraído significativa atenção da pesquisa, especialmente na integração com modelos de linguagem multimodal de grande escala (MLLMs, do inglês "multimodal large language models"). Estudos existentes sobre MCoT propõem diversas metodologias e paradigmas de raciocínio inovadores para abordar os desafios únicos de imagens, vídeos, fala, áudio, dados 3D e estruturados em diferentes modalidades, alcançando sucesso extenso em aplicações como robótica, saúde, direção autônoma e geração multimodal. No entanto, o MCoT ainda apresenta desafios e oportunidades distintos que exigem maior foco para garantir um desenvolvimento consistente nesse campo, onde, infelizmente, falta uma revisão atualizada desse domínio. Para preencher essa lacuna, apresentamos o primeiro levantamento sistemático do raciocínio MCoT, elucidando os conceitos e definições fundamentais relevantes. Oferecemos uma taxonomia abrangente e uma análise detalhada das metodologias atuais sob diversas perspectivas em vários cenários de aplicação. Além disso, fornecemos insights sobre os desafios existentes e direções futuras de pesquisa, com o objetivo de promover a inovação em direção à AGI (Inteligência Artificial Geral) multimodal.

English

By extending the advantage of chain-of-thought (CoT) reasoning in human-like step-by-step processes to multimodal contexts, multimodal CoT (MCoT) reasoning has recently garnered significant research attention, especially in the integration with multimodal large language models (MLLMs). Existing MCoT studies design various methodologies and innovative reasoning paradigms to address the unique challenges of image, video, speech, audio, 3D, and structured data across different modalities, achieving extensive success in applications such as robotics, healthcare, autonomous driving, and multimodal generation. However, MCoT still presents distinct challenges and opportunities that require further focus to ensure consistent thriving in this field, where, unfortunately, an up-to-date review of this domain is lacking. To bridge this gap, we present the first systematic survey of MCoT reasoning, elucidating the relevant foundational concepts and definitions. We offer a comprehensive taxonomy and an in-depth analysis of current methodologies from diverse perspectives across various application scenarios. Furthermore, we provide insights into existing challenges and future research directions, aiming to foster innovation toward multimodal AGI.