Мультимодальное рассуждение по цепочке мыслей: всесторонний обзор

Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey

March 16, 2025

Авторы: Yaoting Wang, Shengqiong Wu, Yuecheng Zhang, William Wang, Ziwei Liu, Jiebo Luo, Hao Fei

cs.AI

Аннотация

Расширяя преимущества цепочечных рассуждений (CoT), имитирующих пошаговые процессы человеческого мышления, на мультимодальные контексты, мультимодальные цепочечные рассуждения (MCoT) недавно привлекли значительное внимание исследователей, особенно в интеграции с мультимодальными большими языковыми моделями (MLLM). Существующие исследования MCoT разрабатывают различные методологии и инновационные парадигмы рассуждений для решения уникальных задач, связанных с изображениями, видео, речью, аудио, 3D-данными и структурированными данными в различных модальностях, достигая значительных успехов в таких областях, как робототехника, здравоохранение, автономное вождение и мультимодальная генерация. Однако MCoT по-прежнему представляют собой уникальные вызовы и возможности, требующие дальнейшего внимания для обеспечения устойчивого развития в этой области, где, к сожалению, отсутствует актуальный обзор. Чтобы заполнить этот пробел, мы представляем первый систематический обзор MCoT, разъясняя соответствующие базовые концепции и определения. Мы предлагаем всеобъемлющую таксономию и глубокий анализ современных методологий с различных точек зрения в различных сценариях применения. Кроме того, мы предоставляем инсайты о существующих вызовах и будущих направлениях исследований, стремясь стимулировать инновации в направлении мультимодального искусственного общего интеллекта (AGI).

English

By extending the advantage of chain-of-thought (CoT) reasoning in human-like step-by-step processes to multimodal contexts, multimodal CoT (MCoT) reasoning has recently garnered significant research attention, especially in the integration with multimodal large language models (MLLMs). Existing MCoT studies design various methodologies and innovative reasoning paradigms to address the unique challenges of image, video, speech, audio, 3D, and structured data across different modalities, achieving extensive success in applications such as robotics, healthcare, autonomous driving, and multimodal generation. However, MCoT still presents distinct challenges and opportunities that require further focus to ensure consistent thriving in this field, where, unfortunately, an up-to-date review of this domain is lacking. To bridge this gap, we present the first systematic survey of MCoT reasoning, elucidating the relevant foundational concepts and definitions. We offer a comprehensive taxonomy and an in-depth analysis of current methodologies from diverse perspectives across various application scenarios. Furthermore, we provide insights into existing challenges and future research directions, aiming to foster innovation toward multimodal AGI.