Raisonnement multimodal progressif via récupération active

Progressive Multimodal Reasoning via Active Retrieval

December 19, 2024

Auteurs: Guanting Dong, Chenghao Zhang, Mengjie Deng, Yutao Zhu, Zhicheng Dou, Ji-Rong Wen

cs.AI

Résumé

Les tâches de raisonnement multimodal en plusieurs étapes posent des défis significatifs pour les grands modèles de langage multimodal (MLLM), et trouver des moyens efficaces d'améliorer leurs performances dans de tels scénarios reste une question non résolue. Dans cet article, nous proposons AR-MCTS, un cadre universel conçu pour améliorer progressivement les capacités de raisonnement des MLLMs grâce à la Récupération Active (AR) et à la Recherche d'Arbre de Monte Carlo (MCTS). Notre approche commence par le développement d'un module de recherche unifié qui extrait des informations clés de soutien pour résoudre des problèmes de raisonnement complexes à partir d'un corpus de recherche multimodal hybride. Pour combler le fossé dans la vérification automatisée du raisonnement multimodal, nous utilisons l'algorithme MCTS combiné à un mécanisme de récupération active, ce qui permet la génération automatique d'annotations étape par étape. Cette stratégie extrait dynamiquement des informations clés pour chaque étape de raisonnement, allant au-delà de l'échantillonnage traditionnel par recherche en faisceau pour améliorer la diversité et la fiabilité de l'espace de raisonnement. De plus, nous introduisons un modèle de récompense de processus qui s'aligne progressivement pour soutenir la vérification automatique des tâches de raisonnement multimodal. Les résultats expérimentaux sur trois benchmarks de raisonnement multimodal complexes confirment l'efficacité du cadre AR-MCTS dans l'amélioration des performances de divers modèles multimodaux. Une analyse supplémentaire démontre que AR-MCTS peut optimiser la diversité et la précision de l'échantillonnage, produisant un raisonnement multimodal fiable.

English

Multi-step multimodal reasoning tasks pose significant challenges for multimodal large language models (MLLMs), and finding effective ways to enhance their performance in such scenarios remains an unresolved issue. In this paper, we propose AR-MCTS, a universal framework designed to progressively improve the reasoning capabilities of MLLMs through Active Retrieval (AR) and Monte Carlo Tree Search (MCTS). Our approach begins with the development of a unified retrieval module that retrieves key supporting insights for solving complex reasoning problems from a hybrid-modal retrieval corpus. To bridge the gap in automated multimodal reasoning verification, we employ the MCTS algorithm combined with an active retrieval mechanism, which enables the automatic generation of step-wise annotations. This strategy dynamically retrieves key insights for each reasoning step, moving beyond traditional beam search sampling to improve the diversity and reliability of the reasoning space. Additionally, we introduce a process reward model that aligns progressively to support the automatic verification of multimodal reasoning tasks. Experimental results across three complex multimodal reasoning benchmarks confirm the effectiveness of the AR-MCTS framework in enhancing the performance of various multimodal models. Further analysis demonstrates that AR-MCTS can optimize sampling diversity and accuracy, yielding reliable multimodal reasoning.