アクティブ検索を介したプログレッシブマルチモーダル推論

Progressive Multimodal Reasoning via Active Retrieval

December 19, 2024

著者: Guanting Dong, Chenghao Zhang, Mengjie Deng, Yutao Zhu, Zhicheng Dou, Ji-Rong Wen

cs.AI

要旨

マルチステップのマルチモーダル推論タスクは、マルチモーダル大規模言語モデル（MLLMs）にとって重大な課題を提起し、そのようなシナリオでのパフォーマンスを向上させる効果的な方法を見つけることは未解決の問題です。本論文では、AR-MCTSという、アクティブ検索（AR）とモンテカルロ木探索（MCTS）を通じてMLLMsの推論能力を段階的に向上させるための汎用フレームワークを提案します。我々のアプローチは、複雑な推論問題を解決するための主要な支援的洞察をハイブリッドモーダル検索コーパスから取得する統合検索モジュールの開発から始まります。自動マルチモーダル推論検証のギャップを埋めるために、MCTSアルゴリズムとアクティブ検索メカニズムを組み合わせ、段階的な注釈の自動生成を可能にします。この戦略は、各推論ステップごとに主要な洞察を動的に取得し、従来のビームサーチサンプリングを超えて推論空間の多様性と信頼性を向上させます。さらに、マルチモーダル推論タスクの自動検証をサポートするために段階的に整合するプロセス報酬モデルを導入します。3つの複雑なマルチモーダル推論ベンチマーク全体での実験結果は、AR-MCTSフレームワークがさまざまなマルチモーダルモデルのパフォーマンスを向上させる効果を確認しています。さらなる分析により、AR-MCTSがサンプリングの多様性と精度を最適化し、信頼性の高いマルチモーダル推論を実現できることが示されています。

English

Multi-step multimodal reasoning tasks pose significant challenges for multimodal large language models (MLLMs), and finding effective ways to enhance their performance in such scenarios remains an unresolved issue. In this paper, we propose AR-MCTS, a universal framework designed to progressively improve the reasoning capabilities of MLLMs through Active Retrieval (AR) and Monte Carlo Tree Search (MCTS). Our approach begins with the development of a unified retrieval module that retrieves key supporting insights for solving complex reasoning problems from a hybrid-modal retrieval corpus. To bridge the gap in automated multimodal reasoning verification, we employ the MCTS algorithm combined with an active retrieval mechanism, which enables the automatic generation of step-wise annotations. This strategy dynamically retrieves key insights for each reasoning step, moving beyond traditional beam search sampling to improve the diversity and reliability of the reasoning space. Additionally, we introduce a process reward model that aligns progressively to support the automatic verification of multimodal reasoning tasks. Experimental results across three complex multimodal reasoning benchmarks confirm the effectiveness of the AR-MCTS framework in enhancing the performance of various multimodal models. Further analysis demonstrates that AR-MCTS can optimize sampling diversity and accuracy, yielding reliable multimodal reasoning.