MCTS（Monte Carlo Tree Search）による構造化思考の自動化によるマルチモーダル推論の強化

Boosting Multimodal Reasoning with MCTS-Automated Structured Thinking

February 4, 2025

著者: Jinyang Wu, Mingkuan Feng, Shuai Zhang, Ruihan Jin, Feihu Che, Zengqi Wen, Jianhua Tao

cs.AI

要旨

マルチモーダル大規模言語モデル（MLLMs）は印象的な能力を示していますが、複雑な視覚推論にはまだ課題があります。最近の取り組みでは、OpenAI o1のような構造化された思考を明示的な探索構造や教師による蒸留を取り入れることで、MLLMsの推論能力を向上させようとしていますが、性能と効率のバランスが難しいという課題があります。重要な制限事項は、広範なデータと探索空間に大きく依存しており、低効率な暗黙の洞察抽出とデータ利用をもたらしています。この課題に対処するために、私たちはAStarを提案します。これは、Monte Carlo Tree Search（MCTS）を介したマルチモーダル推論のための自動化された構造化思考パラダイムです。AStarは、MCTSによる階層的構造を活用して、限られたデータから高レベルの認知推論パターンを自動的に導き出します。これらの明示的なパターンを基に、モデルの内部推論能力と外部推論ガイドラインをシームレスに統合した統一された推論フレームワークを設計し、ツリーの反復を最小限に抑えつつ効率的な推論を可能にします。この新しいパラダイムは、性能と効率の間に魅力的なバランスを実現しています。幅広い実験により、AStarの効果が示され、MathVerseベンチマークで7Bバックボーンを使用して優れた精度（54.0％）を達成し、GPT-4o（50.2％）を上回りながら、大幅なデータと計算効率を維持しています。

English

Multimodal large language models (MLLMs) exhibit impressive capabilities but still face challenges in complex visual reasoning. While recent efforts attempt to enhance MLLMs' reasoning by incorporating OpenAI o1-like structured thinking through explicit search structures or teacher-guided distillation, they often struggle to balance performance and efficiency. A critical limitation is their heavy reliance on extensive data and search spaces, resulting in low-efficiency implicit insight extraction and data utilization. To address this, we propose AStar, an Automated Structured thinking paradigm for multimodal reasoning via Monte Carlo Tree Search (MCTS). AStar automatically derives high-level cognitive reasoning patterns from limited data using MCTS-powered hierarchical structures. Building on these explicit patterns, we design a unified reasoning framework that seamlessly integrates models' internal reasoning capabilities and external reasoning guidelines, enabling efficient inference with minimal tree iterations. This novel paradigm strikes a compelling balance between performance and efficiency. Extensive experiments demonstrate AStar's effectiveness, achieving superior accuracy (54.0%) on the MathVerse benchmark with a 7B backbone, surpassing GPT-4o (50.2%) while maintaining substantial data and computational efficiency.