Versterking van multimodale redenering met MCTS-geautomatiseerd gestructureerd denken

Boosting Multimodal Reasoning with MCTS-Automated Structured Thinking

February 4, 2025

Auteurs: Jinyang Wu, Mingkuan Feng, Shuai Zhang, Ruihan Jin, Feihu Che, Zengqi Wen, Jianhua Tao

cs.AI

Samenvatting

Multimodale grote taalmodellen (MLLM's) vertonen indrukwekkende capaciteiten, maar ondervinden nog steeds uitdagingen bij complexe visuele redenering. Terwijl recente inspanningen proberen MLLM's redenering te verbeteren door OpenAI o1-achtig gestructureerd denken te integreren via expliciete zoekstructuren of door docent-geleide destillatie, worstelen ze vaak met het balanceren van prestaties en efficiëntie. Een kritieke beperking is hun zware afhankelijkheid van uitgebreide gegevens- en zoekruimtes, resulterend in een laag-efficiënte impliciete inzichtsextractie en gegevensbenutting. Om dit aan te pakken, stellen we AStar voor, een geautomatiseerd gestructureerd denkparadigma voor multimodale redenering via Monte Carlo Tree Search (MCTS). AStar ontleent automatisch hoog-niveau cognitieve redeneringspatronen aan beperkte gegevens met behulp van MCTS-aangedreven hiërarchische structuren. Voortbouwend op deze expliciete patronen, ontwerpen we een verenigd redeneerkader dat modellen' interne redeneervermogens en externe redeneerrichtlijnen naadloos integreert, waardoor efficiënte inferentie mogelijk is met minimale boomiteraties. Dit nieuwe paradigma bereikt een overtuigend evenwicht tussen prestaties en efficiëntie. Uitgebreide experimenten tonen de effectiviteit van AStar aan, met een superieure nauwkeurigheid (54,0%) op de MathVerse benchmark met een 7B ruggengraat, die GPT-4o (50,2%) overtreft terwijl aanzienlijke gegevens- en computationele efficiëntie behouden blijft.

English

Multimodal large language models (MLLMs) exhibit impressive capabilities but still face challenges in complex visual reasoning. While recent efforts attempt to enhance MLLMs' reasoning by incorporating OpenAI o1-like structured thinking through explicit search structures or teacher-guided distillation, they often struggle to balance performance and efficiency. A critical limitation is their heavy reliance on extensive data and search spaces, resulting in low-efficiency implicit insight extraction and data utilization. To address this, we propose AStar, an Automated Structured thinking paradigm for multimodal reasoning via Monte Carlo Tree Search (MCTS). AStar automatically derives high-level cognitive reasoning patterns from limited data using MCTS-powered hierarchical structures. Building on these explicit patterns, we design a unified reasoning framework that seamlessly integrates models' internal reasoning capabilities and external reasoning guidelines, enabling efficient inference with minimal tree iterations. This novel paradigm strikes a compelling balance between performance and efficiency. Extensive experiments demonstrate AStar's effectiveness, achieving superior accuracy (54.0%) on the MathVerse benchmark with a 7B backbone, surpassing GPT-4o (50.2%) while maintaining substantial data and computational efficiency.