Прогрессивное мультимодальное рассуждение с помощью активного извлечения.

Progressive Multimodal Reasoning via Active Retrieval

December 19, 2024

Авторы: Guanting Dong, Chenghao Zhang, Mengjie Deng, Yutao Zhu, Zhicheng Dou, Ji-Rong Wen

cs.AI

Аннотация

Многоэтапные мультимодальные задачи рассуждения представляют существенные вызовы для мультимодальных моделей больших языков (MLLM), и поиск эффективных способов улучшения их производительности в таких сценариях остается нерешенной проблемой. В данной статье мы предлагаем AR-MCTS, универсальную структуру, разработанную для постепенного улучшения способностей рассуждения MLLM через активное извлечение (AR) и поиск по дереву Монте-Карло (MCTS). Наш подход начинается с разработки объединенного модуля извлечения, который извлекает ключевые поддерживающие идеи для решения сложных проблем рассуждения из гибридно-модального корпуса извлечения. Для устранения разрыва в автоматизированной верификации мультимодального рассуждения мы используем алгоритм MCTS в сочетании с механизмом активного извлечения, что позволяет автоматически генерировать аннотации пошагово. Эта стратегия динамически извлекает ключевые идеи для каждого шага рассуждения, выходя за пределы традиционного поиска лучевым методом для улучшения разнообразия и надежности пространства рассуждения. Кроме того, мы представляем модель вознаграждения процесса, которая постепенно выравнивается для поддержки автоматической верификации мультимодальных задач рассуждения. Экспериментальные результаты на трех сложных бенчмарках мультимодального рассуждения подтверждают эффективность структуры AR-MCTS в улучшении производительности различных мультимодальных моделей. Дополнительный анализ показывает, что AR-MCTS может оптимизировать разнообразие и точность выборки, обеспечивая надежное мультимодальное рассуждение.

English

Multi-step multimodal reasoning tasks pose significant challenges for multimodal large language models (MLLMs), and finding effective ways to enhance their performance in such scenarios remains an unresolved issue. In this paper, we propose AR-MCTS, a universal framework designed to progressively improve the reasoning capabilities of MLLMs through Active Retrieval (AR) and Monte Carlo Tree Search (MCTS). Our approach begins with the development of a unified retrieval module that retrieves key supporting insights for solving complex reasoning problems from a hybrid-modal retrieval corpus. To bridge the gap in automated multimodal reasoning verification, we employ the MCTS algorithm combined with an active retrieval mechanism, which enables the automatic generation of step-wise annotations. This strategy dynamically retrieves key insights for each reasoning step, moving beyond traditional beam search sampling to improve the diversity and reliability of the reasoning space. Additionally, we introduce a process reward model that aligns progressively to support the automatic verification of multimodal reasoning tasks. Experimental results across three complex multimodal reasoning benchmarks confirm the effectiveness of the AR-MCTS framework in enhancing the performance of various multimodal models. Further analysis demonstrates that AR-MCTS can optimize sampling diversity and accuracy, yielding reliable multimodal reasoning.