Multimodal DeepResearcher : Génération de rapports entrelaçant texte et graphiques à partir de zéro avec un cadre agentique

Multimodal DeepResearcher: Generating Text-Chart Interleaved Reports From Scratch with Agentic Framework

June 3, 2025

Auteurs: Zhaorui Yang, Bo Pan, Han Wang, Yiyao Wang, Xingyu Liu, Minfeng Zhu, Bo Zhang, Wei Chen

cs.AI

Résumé

Les visualisations jouent un rôle crucial dans la communication efficace des concepts et des informations. Les récents progrès en matière de raisonnement et de génération augmentée par la récupération ont permis aux modèles de langage de grande envergure (LLMs) de mener des recherches approfondies et de générer des rapports complets. Malgré ces avancées, les cadres de recherche approfondie existants se concentrent principalement sur la génération de contenu textuel uniquement, laissant la génération automatisée de textes et de visualisations entrelacés peu explorée. Cette nouvelle tâche pose des défis majeurs dans la conception de visualisations informatives et leur intégration efficace avec des rapports textuels. Pour relever ces défis, nous proposons la Description Formelle de Visualisation (FDV), une représentation textuelle structurée de graphiques qui permet aux LLMs d'apprendre et de générer des visualisations diverses et de haute qualité. En s'appuyant sur cette représentation, nous introduisons Multimodal DeepResearcher, un cadre agentique qui décompose la tâche en quatre étapes : (1) recherche, (2) textualisation de rapport exemplaire, (3) planification, et (4) génération de rapports multimodaux. Pour l'évaluation des rapports multimodaux générés, nous développons MultimodalReportBench, qui contient 100 sujets divers servant d'entrées ainsi que 5 métriques dédiées. Des expériences approfondies à travers les modèles et les méthodes d'évaluation démontrent l'efficacité de Multimodal DeepResearcher. Notamment, en utilisant le même modèle Claude 3.7 Sonnet, Multimodal DeepResearcher atteint un taux de réussite global de 82 % par rapport à la méthode de référence.

English

Visualizations play a crucial part in effective communication of concepts and information. Recent advances in reasoning and retrieval augmented generation have enabled Large Language Models (LLMs) to perform deep research and generate comprehensive reports. Despite its progress, existing deep research frameworks primarily focus on generating text-only content, leaving the automated generation of interleaved texts and visualizations underexplored. This novel task poses key challenges in designing informative visualizations and effectively integrating them with text reports. To address these challenges, we propose Formal Description of Visualization (FDV), a structured textual representation of charts that enables LLMs to learn from and generate diverse, high-quality visualizations. Building on this representation, we introduce Multimodal DeepResearcher, an agentic framework that decomposes the task into four stages: (1) researching, (2) exemplar report textualization, (3) planning, and (4) multimodal report generation. For the evaluation of generated multimodal reports, we develop MultimodalReportBench, which contains 100 diverse topics served as inputs along with 5 dedicated metrics. Extensive experiments across models and evaluation methods demonstrate the effectiveness of Multimodal DeepResearcher. Notably, utilizing the same Claude 3.7 Sonnet model, Multimodal DeepResearcher achieves an 82\% overall win rate over the baseline method.