なぜ推論が重要なのか？マルチモーダル推論の進展に関する調査 (v1)

Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1)

April 4, 2025

著者: Jing Bi, Susan Liang, Xiaofei Zhou, Pinxin Liu, Junjia Guo, Yunlong Tang, Luchuan Song, Chao Huang, Guangyu Sun, Jinxi He, Jiarui Wu, Shu Yang, Daoan Zhang, Chen Chen, Lianggong Bruce Wen, Zhang Liu, Jiebo Luo, Chenliang Xu

cs.AI

要旨

推論は人間の知能の中核をなすものであり、多様なタスクにわたる構造化された問題解決を可能にします。近年の大規模言語モデル（LLM）の進展により、算術、常識、記号領域における推論能力が大幅に向上しました。しかし、これらの能力をマルチモーダルな文脈—モデルが視覚的およびテキスト的な入力を統合しなければならない状況—に効果的に拡張することは、依然として重要な課題です。マルチモーダル推論は、モダリティ間の矛盾する情報を扱うといった複雑さを伴い、モデルが高度な解釈戦略を採用する必要があります。これらの課題に対処するためには、洗練されたアルゴリズムだけでなく、推論の正確性と一貫性を評価するための堅牢な方法論も必要です。本論文では、テキストおよびマルチモーダルLLMにおける推論技術について、簡潔でありながら洞察に富んだ概観を提供します。最新の比較を通じて、核心的な推論の課題と機会を明確に定式化し、ポストトレーニング最適化およびテスト時推論のための実践的な方法を強調します。本研究は、理論的フレームワークと実践的な実装を橋渡しし、将来の研究に向けた明確な方向性を示すことで、貴重な洞察と指針を提供します。

English

Reasoning is central to human intelligence, enabling structured problem-solving across diverse tasks. Recent advances in large language models (LLMs) have greatly enhanced their reasoning abilities in arithmetic, commonsense, and symbolic domains. However, effectively extending these capabilities into multimodal contexts-where models must integrate both visual and textual inputs-continues to be a significant challenge. Multimodal reasoning introduces complexities, such as handling conflicting information across modalities, which require models to adopt advanced interpretative strategies. Addressing these challenges involves not only sophisticated algorithms but also robust methodologies for evaluating reasoning accuracy and coherence. This paper offers a concise yet insightful overview of reasoning techniques in both textual and multimodal LLMs. Through a thorough and up-to-date comparison, we clearly formulate core reasoning challenges and opportunities, highlighting practical methods for post-training optimization and test-time inference. Our work provides valuable insights and guidance, bridging theoretical frameworks and practical implementations, and sets clear directions for future research.