Multimodal DeepResearcher: Generazione di Report con Testo e Grafici Intervallati Da Zero con un Framework Agente

Multimodal DeepResearcher: Generating Text-Chart Interleaved Reports From Scratch with Agentic Framework

June 3, 2025

Autori: Zhaorui Yang, Bo Pan, Han Wang, Yiyao Wang, Xingyu Liu, Minfeng Zhu, Bo Zhang, Wei Chen

cs.AI

Abstract

Le visualizzazioni svolgono un ruolo cruciale nella comunicazione efficace di concetti e informazioni. I recenti progressi nel ragionamento e nella generazione aumentata da recupero hanno consentito ai Modelli Linguistici di Grande Scala (LLM) di condurre ricerche approfondite e generare report completi. Nonostante questi progressi, gli attuali framework di ricerca approfondita si concentrano principalmente sulla generazione di contenuti testuali, lasciando inesplorata la generazione automatizzata di testi e visualizzazioni intercalati. Questo nuovo compito presenta sfide chiave nella progettazione di visualizzazioni informative e nella loro efficace integrazione con i report testuali. Per affrontare queste sfide, proponiamo la Descrizione Formale della Visualizzazione (FDV), una rappresentazione testuale strutturata di grafici che consente ai LLM di apprendere e generare visualizzazioni diversificate e di alta qualità. Basandoci su questa rappresentazione, introduciamo Multimodal DeepResearcher, un framework agentico che scompone il compito in quattro fasi: (1) ricerca, (2) testualizzazione del report esemplare, (3) pianificazione e (4) generazione del report multimodale. Per la valutazione dei report multimodali generati, sviluppiamo MultimodalReportBench, che contiene 100 argomenti diversificati come input insieme a 5 metriche dedicate. Esperimenti estesi su modelli e metodi di valutazione dimostrano l'efficacia di Multimodal DeepResearcher. In particolare, utilizzando lo stesso modello Claude 3.7 Sonnet, Multimodal DeepResearcher raggiunge un tasso di vittoria complessivo dell'82% rispetto al metodo di base.

English

Visualizations play a crucial part in effective communication of concepts and information. Recent advances in reasoning and retrieval augmented generation have enabled Large Language Models (LLMs) to perform deep research and generate comprehensive reports. Despite its progress, existing deep research frameworks primarily focus on generating text-only content, leaving the automated generation of interleaved texts and visualizations underexplored. This novel task poses key challenges in designing informative visualizations and effectively integrating them with text reports. To address these challenges, we propose Formal Description of Visualization (FDV), a structured textual representation of charts that enables LLMs to learn from and generate diverse, high-quality visualizations. Building on this representation, we introduce Multimodal DeepResearcher, an agentic framework that decomposes the task into four stages: (1) researching, (2) exemplar report textualization, (3) planning, and (4) multimodal report generation. For the evaluation of generated multimodal reports, we develop MultimodalReportBench, which contains 100 diverse topics served as inputs along with 5 dedicated metrics. Extensive experiments across models and evaluation methods demonstrate the effectiveness of Multimodal DeepResearcher. Notably, utilizing the same Claude 3.7 Sonnet model, Multimodal DeepResearcher achieves an 82\% overall win rate over the baseline method.