Multimodale Ketting-van-Gedachten Redenering: Een Uitgebreid Overzicht

Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey

March 16, 2025

Auteurs: Yaoting Wang, Shengqiong Wu, Yuecheng Zhang, William Wang, Ziwei Liu, Jiebo Luo, Hao Fei

cs.AI

Samenvatting

Door het voordeel van keten-van-gedachten (CoT) redenering in mensachtige stapsgewijze processen uit te breiden naar multimodale contexten, heeft multimodale CoT (MCoT) redenering recentelijk aanzienlijke onderzoeksaandacht gekregen, met name in de integratie met multimodale grote taalmodellen (MLLMs). Bestaande MCoT-studies ontwerpen verschillende methodologieën en innovatieve redeneerparadigma's om de unieke uitdagingen van beeld, video, spraak, audio, 3D en gestructureerde data over verschillende modaliteiten aan te pakken, wat uitgebreid succes heeft opgeleverd in toepassingen zoals robotica, gezondheidszorg, autonoom rijden en multimodale generatie. MCoT biedt echter nog steeds duidelijke uitdagingen en mogelijkheden die verdere aandacht vereisen om een consistente bloei in dit veld te waarborgen, waar helaas een actueel overzicht van dit domein ontbreekt. Om deze kloof te overbruggen, presenteren we de eerste systematische survey van MCoT-redenering, waarbij we de relevante fundamentele concepten en definities verhelderen. We bieden een uitgebreide taxonomie en een diepgaande analyse van huidige methodologieën vanuit diverse perspectieven in verschillende toepassingsscenario's. Bovendien geven we inzicht in bestaande uitdagingen en toekomstige onderzoeksrichtingen, met als doel innovatie te bevorderen richting multimodale AGI.

English

By extending the advantage of chain-of-thought (CoT) reasoning in human-like step-by-step processes to multimodal contexts, multimodal CoT (MCoT) reasoning has recently garnered significant research attention, especially in the integration with multimodal large language models (MLLMs). Existing MCoT studies design various methodologies and innovative reasoning paradigms to address the unique challenges of image, video, speech, audio, 3D, and structured data across different modalities, achieving extensive success in applications such as robotics, healthcare, autonomous driving, and multimodal generation. However, MCoT still presents distinct challenges and opportunities that require further focus to ensure consistent thriving in this field, where, unfortunately, an up-to-date review of this domain is lacking. To bridge this gap, we present the first systematic survey of MCoT reasoning, elucidating the relevant foundational concepts and definitions. We offer a comprehensive taxonomy and an in-depth analysis of current methodologies from diverse perspectives across various application scenarios. Furthermore, we provide insights into existing challenges and future research directions, aiming to foster innovation toward multimodal AGI.