Визуальное понимание документов и ответы на вопросы: Многоагентная структура сотрудничества с масштабированием на этапе тестирования

Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling

August 5, 2025

Авторы: Xinlei Yu, Zhangquan Chen, Yudong Zhang, Shilin Lu, Ruolin Shen, Jiangning Zhang, Xiaobin Hu, Yanwei Fu, Shuicheng Yan

cs.AI

Аннотация

Существующие модели, объединяющие зрительное восприятие и язык (VLMs), будь то универсальные или специализированные, остаются ограниченными масштабом своих параметров, обладают недостаточно надежными возможностями самокоррекции и демонстрируют низкую производительность в задачах, связанных с длинными визуальными контекстами и сложными рассуждениями, что приводит к неоптимальным результатам в задачах, основанных на документах. Для решения этой проблемы мы предлагаем MACT — фреймворк многоагентного сотрудничества с масштабированием на этапе тестирования, адаптированный для визуального понимания документов и визуального ответа на вопросы (VQA). Он включает четыре отдельных агента малого масштаба, а именно агентов планирования, выполнения, оценки и ответа, с четко определенными ролями и эффективным взаимодействием. Примечательно, что агент оценки исключительно проверяет правильность и перенаправляет к предыдущим агентам для внесения исправлений, превосходя традиционные стратегии коррекции. Для дальнейшего расширения границ возможностей фреймворка мы предлагаем смешанное моделирование вознаграждений, которое балансирует способности отдельных агентов и глобальное сотрудничество, а также гибридное масштабирование на этапе тестирования для каждого агента, которое настраивает различные стратегии масштабирования в зависимости от их функций. Оцененный на тестовых наборах данных, охватывающих как задачи, основанные на документах, так и не связанные с ними, наш MACT демонстрирует превосходную производительность при меньшем масштабе параметров, не жертвуя способностями к общим и математическим задачам. Особенно он выделяется в тестовых наборах данных, связанных с длинными визуальными контекстами и сложными рассуждениями. Три варианта MACT стабильно занимают три верхние позиции по средним показателям, лидируя в 13 из 15 тестовых наборов данных. Код будет доступен по адресу: https://github.com/YU-deep/MACT.git.

English

Existing vision-language models (VLMs), whether generalists or specialists, remain constrained by their parameter scale, lack robust self-correction capabilities, and underperform in tasks involving long visual contexts and complex reasoning, resulting in suboptimal performance on document-based tasks. To address this, we propose MACT, a Multi-Agent Collaboration framework with Test-Time scaling, tailored for visual document understanding and visual question answering (VQA). It comprises four distinct small-scale agents, i.e., planning, execution, judgment, and answer agents, with clearly defined roles and effective collaboration. Notably, the judgment agent exclusively verifies correctness and redirects to prior agents for revisions, outperforming conventional correction strategies. To further expand the capability boundaries of the framework, we propose mixed reward modeling that balances agent-specific abilities and global collaboration, as well as agent-wise hybrid test-time scaling, which customizes different scaling strategies for each agent based on their functions. Evaluated on benchmarks spanning both document-based and non-document-based settings, our MACT shows superior performance with a smaller parameter scale without sacrificing the ability of general and mathematical tasks. Especially, it stands out in benchmarks involving long visual contexts and complicated reasoning. The three variants of MACT consistently hold the top three positions in average scores, leading in 13 of the 15 benchmarks. Code will be available at: https://github.com/YU-deep/MACT.git.