Rumo à Pesquisa Profunda Multimodal Verificável: Uma Estrutura Multiagente para Geração de Relatórios Intercalados

Resumo

Modelos de Linguagem de Grande Escala (LLMs) avançaram agentes autônomos desde a busca profunda, que recupera respostas factuais concisas, até a pesquisa aprofundada, que sintetiza evidências dispersas em relatórios longos. No entanto, a pesquisa multimodal profunda verificável continua desafiadora devido à síntese aberta sem verdade fundamental determinística e à necessidade de intercalar argumentos textuais com evidências visuais. Propomos Ptah, um arcabouço multiagente para geração de relatórios intercalados. Ptah orquestra o ciclo de vida desde a consulta do usuário até o relatório web renderizado, passando pelas etapas de planejamento, pesquisa e escrita, onde agentes especializados constroem planos com consciência visual, coletam evidências fundamentadas em alegações, mantêm imagens alinhadas às fontes em uma Memória de Trabalho Visual e compõem relatórios por meio do uso declarativo de ferramentas multimodais. Um agente verificador atua como função de aceitação do arcabouço, impondo fundamentação factual, fidelidade de citação e consistência entre modalidades ao longo do fluxo de trabalho. Apresentamos ainda PtahEval, um protocolo de avaliação que complementa benchmarks existentes com avaliações em nível de imagem e de apresentação. Experimentos em benchmarks de pesquisa aprofundada mostram que Ptah produz relatórios multimodais mais confiáveis, visualmente informativos e utilizáveis para humanos do que linhas de base fortes.

English

Large Language Models (LLMs) have advanced autonomous agents from deep search, which retrieves concise factual answers, to deep research, which synthesizes scattered evidence into long-form reports. However, verifiable multimodal deep research remains challenging due to open-ended synthesis without deterministic ground truth and the need to interleave textual arguments with visual evidence. We propose Ptah, a multi-agent harness for interleaved report generation. Ptah orchestrates the lifecycle from user query to rendered web report through planning, research, and writing stages, where specialized agents construct visual-aware plans, collect claim-grounded evidence, maintain source-aligned images in a Visual Working Memory, and compose reports through declarative multimodal tool use. A verifier agent serves as the harness's acceptance function, enforcing factual grounding, citation fidelity, and cross-modal consistency throughout the workflow. We further introduce PtahEval, an evaluation protocol that augments existing benchmarks with image-level and presentation-level assessments. Experiments on deep research benchmarks show that Ptah produces more reliable, visually informative, and usable human-facing multimodal reports than strong baselines.