Multimodaler DeepResearcher: Generierung von Text-Diagramm-verflochtenen Berichten Von Grund auf mit agentenbasiertem Framework

Multimodal DeepResearcher: Generating Text-Chart Interleaved Reports From Scratch with Agentic Framework

June 3, 2025

Autoren: Zhaorui Yang, Bo Pan, Han Wang, Yiyao Wang, Xingyu Liu, Minfeng Zhu, Bo Zhang, Wei Chen

cs.AI

Zusammenfassung

Visualisierungen spielen eine entscheidende Rolle bei der effektiven Kommunikation von Konzepten und Informationen. Jüngste Fortschritte im Bereich des schlussfolgernden und abrufgestützten Generierens haben es großen Sprachmodellen (Large Language Models, LLMs) ermöglicht, tiefgehende Recherchen durchzuführen und umfassende Berichte zu erstellen. Trotz dieser Fortschritte konzentrieren sich bestehende Frameworks für tiefgehende Recherchen hauptsächlich auf die Generierung von rein textbasierten Inhalten, wodurch die automatische Erstellung von verschachtelten Texten und Visualisierungen weitgehend unerforscht bleibt. Diese neuartige Aufgabe stellt zentrale Herausforderungen bei der Gestaltung informativer Visualisierungen und deren effektiver Integration in Textberichte dar. Um diese Herausforderungen zu bewältigen, schlagen wir die Formale Beschreibung von Visualisierungen (Formal Description of Visualization, FDV) vor, eine strukturierte textuelle Darstellung von Diagrammen, die es LLMs ermöglicht, aus diversen, hochwertigen Visualisierungen zu lernen und diese zu generieren. Aufbauend auf dieser Darstellung führen wir Multimodal DeepResearcher ein, ein agentenbasiertes Framework, das die Aufgabe in vier Phasen unterteilt: (1) Recherche, (2) Textualisierung von Beispielberichten, (3) Planung und (4) multimodale Berichterstellung. Zur Bewertung der generierten multimodalen Berichte entwickeln wir MultimodalReportBench, das 100 verschiedene Themen als Eingaben sowie fünf spezifische Metriken enthält. Umfangreiche Experimente über verschiedene Modelle und Evaluierungsmethoden hinweg demonstrieren die Effektivität von Multimodal DeepResearcher. Bemerkenswerterweise erreicht Multimodal DeepResearcher unter Verwendung desselben Claude 3.7 Sonnet-Modells eine Gesamterfolgsquote von 82 % gegenüber der Baseline-Methode.

English

Visualizations play a crucial part in effective communication of concepts and information. Recent advances in reasoning and retrieval augmented generation have enabled Large Language Models (LLMs) to perform deep research and generate comprehensive reports. Despite its progress, existing deep research frameworks primarily focus on generating text-only content, leaving the automated generation of interleaved texts and visualizations underexplored. This novel task poses key challenges in designing informative visualizations and effectively integrating them with text reports. To address these challenges, we propose Formal Description of Visualization (FDV), a structured textual representation of charts that enables LLMs to learn from and generate diverse, high-quality visualizations. Building on this representation, we introduce Multimodal DeepResearcher, an agentic framework that decomposes the task into four stages: (1) researching, (2) exemplar report textualization, (3) planning, and (4) multimodal report generation. For the evaluation of generated multimodal reports, we develop MultimodalReportBench, which contains 100 diverse topics served as inputs along with 5 dedicated metrics. Extensive experiments across models and evaluation methods demonstrate the effectiveness of Multimodal DeepResearcher. Notably, utilizing the same Claude 3.7 Sonnet model, Multimodal DeepResearcher achieves an 82\% overall win rate over the baseline method.