Усиление мультимодального рассуждения с MCTS-автоматизированным структурированным мышлением

Boosting Multimodal Reasoning with MCTS-Automated Structured Thinking

February 4, 2025

Авторы: Jinyang Wu, Mingkuan Feng, Shuai Zhang, Ruihan Jin, Feihu Che, Zengqi Wen, Jianhua Tao

cs.AI

Аннотация

Мультимодальные модели большого языка (MLLM) обладают впечатляющими возможностями, однако сталкиваются с проблемами в сложном визуальном рассуждении. Недавние усилия направлены на улучшение рассуждений MLLM путем интеграции структурированного мышления, подобного OpenAI o1, через явные структуры поиска или дистилляцию под руководством учителя, однако часто возникают трудности с балансировкой производительности и эффективности. Критическим ограничением является их сильная зависимость от обширных данных и пространств поиска, что приводит к низкой эффективности извлечения неявных инсайтов и использования данных. Для решения этой проблемы мы предлагаем AStar, парадигму автоматизированного структурированного мышления для мультимодального рассуждения с помощью поиска в дереве Монте-Карло (MCTS). AStar автоматически выявляет высокоуровневые когнитивные рассуждения из ограниченных данных, используя иерархические структуры на основе MCTS. Основываясь на этих явных шаблонах, мы разрабатываем унифицированную рамку рассуждений, которая плавно интегрирует внутренние возможности рассуждения моделей и внешние руководящие принципы, обеспечивая эффективный вывод с минимальным количеством итераций по дереву. Эта новая парадигма достигает убедительного баланса между производительностью и эффективностью. Обширные эксперименты демонстрируют эффективность AStar, достигая высокой точности (54,0%) на бенчмарке MathVerse с 7B базовой моделью, превосходя GPT-4o (50,2%), сохраняя при этом значительную эффективность использования данных и вычислительных ресурсов.

English

Multimodal large language models (MLLMs) exhibit impressive capabilities but still face challenges in complex visual reasoning. While recent efforts attempt to enhance MLLMs' reasoning by incorporating OpenAI o1-like structured thinking through explicit search structures or teacher-guided distillation, they often struggle to balance performance and efficiency. A critical limitation is their heavy reliance on extensive data and search spaces, resulting in low-efficiency implicit insight extraction and data utilization. To address this, we propose AStar, an Automated Structured thinking paradigm for multimodal reasoning via Monte Carlo Tree Search (MCTS). AStar automatically derives high-level cognitive reasoning patterns from limited data using MCTS-powered hierarchical structures. Building on these explicit patterns, we design a unified reasoning framework that seamlessly integrates models' internal reasoning capabilities and external reasoning guidelines, enabling efficient inference with minimal tree iterations. This novel paradigm strikes a compelling balance between performance and efficiency. Extensive experiments demonstrate AStar's effectiveness, achieving superior accuracy (54.0%) on the MathVerse benchmark with a 7B backbone, surpassing GPT-4o (50.2%) while maintaining substantial data and computational efficiency.