Почему важно рассуждение? Обзор достижений в области мультимодального рассуждения (v1)

Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1)

April 4, 2025

Авторы: Jing Bi, Susan Liang, Xiaofei Zhou, Pinxin Liu, Junjia Guo, Yunlong Tang, Luchuan Song, Chao Huang, Guangyu Sun, Jinxi He, Jiarui Wu, Shu Yang, Daoan Zhang, Chen Chen, Lianggong Bruce Wen, Zhang Liu, Jiebo Luo, Chenliang Xu

cs.AI

Аннотация

Рассуждения занимают центральное место в человеческом интеллекте, обеспечивая структурированное решение задач в различных областях. Недавние достижения в области больших языковых моделей (LLM) значительно улучшили их способности к рассуждению в арифметических, общепринятых и символических задачах. Однако эффективное расширение этих возможностей на мультимодальные контексты, где модели должны интегрировать как визуальные, так и текстовые данные, остается серьезной проблемой. Мультимодальные рассуждения вводят сложности, такие как обработка противоречивой информации между модальностями, что требует от моделей применения продвинутых интерпретационных стратегий. Решение этих задач включает не только сложные алгоритмы, но и надежные методологии для оценки точности и согласованности рассуждений. В данной статье представлен краткий, но содержательный обзор методов рассуждений в текстовых и мультимодальных LLM. Благодаря тщательному и актуальному сравнению мы четко формулируем основные вызовы и возможности в области рассуждений, выделяя практические методы для посттренировочной оптимизации и инференса в режиме тестирования. Наша работа предоставляет ценные инсайты и рекомендации, связывая теоретические рамки с практическими реализациями, и задает четкие направления для будущих исследований.

English

Reasoning is central to human intelligence, enabling structured problem-solving across diverse tasks. Recent advances in large language models (LLMs) have greatly enhanced their reasoning abilities in arithmetic, commonsense, and symbolic domains. However, effectively extending these capabilities into multimodal contexts-where models must integrate both visual and textual inputs-continues to be a significant challenge. Multimodal reasoning introduces complexities, such as handling conflicting information across modalities, which require models to adopt advanced interpretative strategies. Addressing these challenges involves not only sophisticated algorithms but also robust methodologies for evaluating reasoning accuracy and coherence. This paper offers a concise yet insightful overview of reasoning techniques in both textual and multimodal LLMs. Through a thorough and up-to-date comparison, we clearly formulate core reasoning challenges and opportunities, highlighting practical methods for post-training optimization and test-time inference. Our work provides valuable insights and guidance, bridging theoretical frameworks and practical implementations, and sets clear directions for future research.