Renforcement de la Raisonnement Multimodal avec la Pensée Structurée Automatisée MCTS

Boosting Multimodal Reasoning with MCTS-Automated Structured Thinking

February 4, 2025

Auteurs: Jinyang Wu, Mingkuan Feng, Shuai Zhang, Ruihan Jin, Feihu Che, Zengqi Wen, Jianhua Tao

cs.AI

Résumé

Les grands modèles de langage multimodaux (MLLM) présentent des capacités impressionnantes mais rencontrent encore des défis en matière de raisonnement visuel complexe. Alors que des efforts récents tentent d'améliorer le raisonnement des MLLM en incorporant une pensée structurée similaire à OpenAI o1 à travers des structures de recherche explicites ou une distillation guidée par un enseignant, ils ont souvent du mal à équilibrer les performances et l'efficacité. Une limitation critique est leur forte dépendance à des données et des espaces de recherche étendus, entraînant une extraction d'informations implicites et une utilisation de données peu efficaces. Pour remédier à cela, nous proposons AStar, un paradigme de pensée structurée automatisée pour le raisonnement multimodal via la recherche arborescente Monte Carlo (MCTS). AStar dérive automatiquement des schémas de raisonnement cognitif de haut niveau à partir de données limitées en utilisant des structures hiérarchiques alimentées par MCTS. En nous appuyant sur ces schémas explicites, nous concevons un cadre de raisonnement unifié qui intègre de manière transparente les capacités de raisonnement interne des modèles et les directives de raisonnement externes, permettant une inférence efficace avec un nombre minimal d'itérations dans l'arbre. Ce nouveau paradigme trouve un équilibre convaincant entre les performances et l'efficacité. Des expériences approfondies démontrent l'efficacité d'AStar, atteignant une précision supérieure (54,0 %) sur le benchmark MathVerse avec une base de 7B, dépassant GPT-4o (50,2 %) tout en maintenant une efficacité de données et de calcul substantielle.

English

Multimodal large language models (MLLMs) exhibit impressive capabilities but still face challenges in complex visual reasoning. While recent efforts attempt to enhance MLLMs' reasoning by incorporating OpenAI o1-like structured thinking through explicit search structures or teacher-guided distillation, they often struggle to balance performance and efficiency. A critical limitation is their heavy reliance on extensive data and search spaces, resulting in low-efficiency implicit insight extraction and data utilization. To address this, we propose AStar, an Automated Structured thinking paradigm for multimodal reasoning via Monte Carlo Tree Search (MCTS). AStar automatically derives high-level cognitive reasoning patterns from limited data using MCTS-powered hierarchical structures. Building on these explicit patterns, we design a unified reasoning framework that seamlessly integrates models' internal reasoning capabilities and external reasoning guidelines, enabling efficient inference with minimal tree iterations. This novel paradigm strikes a compelling balance between performance and efficiency. Extensive experiments demonstrate AStar's effectiveness, achieving superior accuracy (54.0%) on the MathVerse benchmark with a 7B backbone, surpassing GPT-4o (50.2%) while maintaining substantial data and computational efficiency.