Multimodal DeepResearcher: Gerando Relatórios Intercalados de Texto e Gráficos Do Zero com um Framework Agente

Multimodal DeepResearcher: Generating Text-Chart Interleaved Reports From Scratch with Agentic Framework

June 3, 2025

Autores: Zhaorui Yang, Bo Pan, Han Wang, Yiyao Wang, Xingyu Liu, Minfeng Zhu, Bo Zhang, Wei Chen

cs.AI

Resumo

Visualizações desempenham um papel crucial na comunicação eficaz de conceitos e informações. Avanços recentes em raciocínio e geração aumentada por recuperação permitiram que Modelos de Linguagem de Grande Escala (LLMs) realizassem pesquisas profundas e gerassem relatórios abrangentes. Apesar do progresso, os frameworks existentes de pesquisa profunda focam principalmente na geração de conteúdo apenas em texto, deixando a geração automatizada de textos intercalados com visualizações pouco explorada. Essa nova tarefa apresenta desafios fundamentais no design de visualizações informativas e na integração eficaz delas com relatórios textuais. Para abordar esses desafios, propomos a Descrição Formal de Visualização (FDV), uma representação textual estruturada de gráficos que permite que LLMs aprendam e gerem visualizações diversas e de alta qualidade. Com base nessa representação, introduzimos o Multimodal DeepResearcher, um framework agentivo que decompõe a tarefa em quatro estágios: (1) pesquisa, (2) textualização de relatório exemplar, (3) planejamento e (4) geração de relatório multimodal. Para a avaliação dos relatórios multimodais gerados, desenvolvemos o MultimodalReportBench, que contém 100 tópicos diversos como entradas, juntamente com 5 métricas dedicadas. Experimentos extensivos em modelos e métodos de avaliação demonstram a eficácia do Multimodal DeepResearcher. Notavelmente, utilizando o mesmo modelo Claude 3.7 Sonnet, o Multimodal DeepResearcher alcança uma taxa geral de vitória de 82% sobre o método de baseline.

English

Visualizations play a crucial part in effective communication of concepts and information. Recent advances in reasoning and retrieval augmented generation have enabled Large Language Models (LLMs) to perform deep research and generate comprehensive reports. Despite its progress, existing deep research frameworks primarily focus on generating text-only content, leaving the automated generation of interleaved texts and visualizations underexplored. This novel task poses key challenges in designing informative visualizations and effectively integrating them with text reports. To address these challenges, we propose Formal Description of Visualization (FDV), a structured textual representation of charts that enables LLMs to learn from and generate diverse, high-quality visualizations. Building on this representation, we introduce Multimodal DeepResearcher, an agentic framework that decomposes the task into four stages: (1) researching, (2) exemplar report textualization, (3) planning, and (4) multimodal report generation. For the evaluation of generated multimodal reports, we develop MultimodalReportBench, which contains 100 diverse topics served as inputs along with 5 dedicated metrics. Extensive experiments across models and evaluation methods demonstrate the effectiveness of Multimodal DeepResearcher. Notably, utilizing the same Claude 3.7 Sonnet model, Multimodal DeepResearcher achieves an 82\% overall win rate over the baseline method.