Progressive Multimodale Argumentation durch aktive Wiederherstellung

Progressive Multimodal Reasoning via Active Retrieval

December 19, 2024

Autoren: Guanting Dong, Chenghao Zhang, Mengjie Deng, Yutao Zhu, Zhicheng Dou, Ji-Rong Wen

cs.AI

Zusammenfassung

Multischrittige multimodale Denkaufgaben stellen eine bedeutende Herausforderung für multimodale große Sprachmodelle (MLLMs) dar, und die Suche nach effektiven Möglichkeiten, um ihre Leistung in solchen Szenarien zu verbessern, bleibt ein ungelöstes Problem. In diesem Artikel schlagen wir AR-MCTS vor, ein universelles Framework, das entwickelt wurde, um die Denkfähigkeiten von MLLMs durch Aktive Abrufung (AR) und Monte Carlo Baum Suche (MCTS) schrittweise zu verbessern. Unser Ansatz beginnt mit der Entwicklung eines vereinheitlichten Abrufmoduls, das Schlüsseleinsichten zur Lösung komplexer Denkprobleme aus einem hybriden Abrufkorpus abruft. Um die Lücke in der automatisierten multimodalen Denkverifizierung zu überbrücken, verwenden wir den MCTS-Algorithmus in Kombination mit einem aktiven Abrufmechanismus, der die automatische Generierung von schrittweisen Annotationen ermöglicht. Diese Strategie ruft dynamisch Schlüsseleinsichten für jeden Denkschritt ab, geht über die traditionelle Strahlsuche hinaus und verbessert die Vielfalt und Zuverlässigkeit des Denkraums. Darüber hinaus führen wir ein Prozessbelohnungsmodell ein, das sich allmählich anpasst, um die automatische Verifizierung multimodaler Denkaufgaben zu unterstützen. Experimentelle Ergebnisse über drei komplexe multimodale Denk-Benchmarks bestätigen die Wirksamkeit des AR-MCTS-Frameworks bei der Verbesserung der Leistung verschiedener multimodaler Modelle. Weitere Analysen zeigen, dass AR-MCTS die Vielfalt und Genauigkeit der Stichproben optimieren kann und zuverlässige multimodale Denkprozesse liefert.

English

Multi-step multimodal reasoning tasks pose significant challenges for multimodal large language models (MLLMs), and finding effective ways to enhance their performance in such scenarios remains an unresolved issue. In this paper, we propose AR-MCTS, a universal framework designed to progressively improve the reasoning capabilities of MLLMs through Active Retrieval (AR) and Monte Carlo Tree Search (MCTS). Our approach begins with the development of a unified retrieval module that retrieves key supporting insights for solving complex reasoning problems from a hybrid-modal retrieval corpus. To bridge the gap in automated multimodal reasoning verification, we employ the MCTS algorithm combined with an active retrieval mechanism, which enables the automatic generation of step-wise annotations. This strategy dynamically retrieves key insights for each reasoning step, moving beyond traditional beam search sampling to improve the diversity and reliability of the reasoning space. Additionally, we introduce a process reward model that aligns progressively to support the automatic verification of multimodal reasoning tasks. Experimental results across three complex multimodal reasoning benchmarks confirm the effectiveness of the AR-MCTS framework in enhancing the performance of various multimodal models. Further analysis demonstrates that AR-MCTS can optimize sampling diversity and accuracy, yielding reliable multimodal reasoning.