Compreensão Visual de Documentos e Resposta a Perguntas: Um Framework de Colaboração Multiagente com Escalonamento em Tempo de Teste

Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling

August 5, 2025

Autores: Xinlei Yu, Zhangquan Chen, Yudong Zhang, Shilin Lu, Ruolin Shen, Jiangning Zhang, Xiaobin Hu, Yanwei Fu, Shuicheng Yan

cs.AI

Resumo

Os modelos visão-linguagem (VLMs) existentes, sejam generalistas ou especialistas, permanecem limitados pela escala de seus parâmetros, carecem de capacidades robustas de autocorreção e têm desempenho inferior em tarefas que envolvem contextos visuais longos e raciocínio complexo, resultando em desempenho subótimo em tarefas baseadas em documentos. Para resolver isso, propomos o MACT, uma estrutura de Colaboração Multi-Agente com Escalonamento em Tempo de Teste, projetada para compreensão visual de documentos e resposta a perguntas visuais (VQA). Ele é composto por quatro agentes distintos em pequena escala, ou seja, planejamento, execução, julgamento e resposta, com papéis claramente definidos e colaboração eficaz. Notavelmente, o agente de julgamento verifica exclusivamente a correção e redireciona para agentes anteriores para revisões, superando estratégias convencionais de correção. Para expandir ainda mais os limites de capacidade da estrutura, propomos a modelagem de recompensa mista que equilibra habilidades específicas do agente e colaboração global, bem como o escalonamento híbrido em tempo de teste por agente, que personaliza diferentes estratégias de escalonamento para cada agente com base em suas funções. Avaliado em benchmarks que abrangem configurações baseadas em documentos e não baseadas em documentos, nosso MACT mostra desempenho superior com uma escala de parâmetros menor sem sacrificar a capacidade de tarefas gerais e matemáticas. Especialmente, ele se destaca em benchmarks envolvendo contextos visuais longos e raciocínio complicado. As três variantes do MACT consistentemente ocupam as três primeiras posições em pontuações médias, liderando em 13 dos 15 benchmarks. O código estará disponível em: https://github.com/YU-deep/MACT.git.

English

Existing vision-language models (VLMs), whether generalists or specialists, remain constrained by their parameter scale, lack robust self-correction capabilities, and underperform in tasks involving long visual contexts and complex reasoning, resulting in suboptimal performance on document-based tasks. To address this, we propose MACT, a Multi-Agent Collaboration framework with Test-Time scaling, tailored for visual document understanding and visual question answering (VQA). It comprises four distinct small-scale agents, i.e., planning, execution, judgment, and answer agents, with clearly defined roles and effective collaboration. Notably, the judgment agent exclusively verifies correctness and redirects to prior agents for revisions, outperforming conventional correction strategies. To further expand the capability boundaries of the framework, we propose mixed reward modeling that balances agent-specific abilities and global collaboration, as well as agent-wise hybrid test-time scaling, which customizes different scaling strategies for each agent based on their functions. Evaluated on benchmarks spanning both document-based and non-document-based settings, our MACT shows superior performance with a smaller parameter scale without sacrificing the ability of general and mathematical tasks. Especially, it stands out in benchmarks involving long visual contexts and complicated reasoning. The three variants of MACT consistently hold the top three positions in average scores, leading in 13 of the 15 benchmarks. Code will be available at: https://github.com/YU-deep/MACT.git.