Multimodal DeepResearcher: Генерация отчетов с чередованием текста и графиков с нуля с использованием агентного фреймворка

Multimodal DeepResearcher: Generating Text-Chart Interleaved Reports From Scratch with Agentic Framework

June 3, 2025

Авторы: Zhaorui Yang, Bo Pan, Han Wang, Yiyao Wang, Xingyu Liu, Minfeng Zhu, Bo Zhang, Wei Chen

cs.AI

Аннотация

Визуализации играют ключевую роль в эффективной передаче концепций и информации. Последние достижения в области рассуждений и генерации, усиленной поиском, позволили крупным языковым моделям (LLM) проводить глубокие исследования и создавать всесторонние отчеты. Несмотря на прогресс, существующие фреймворки для глубоких исследований в основном сосредоточены на генерации текстового контента, оставляя автоматизированное создание переплетенных текстов и визуализаций недостаточно изученным. Эта новая задача ставит ключевые вызовы в проектировании информативных визуализаций и их эффективной интеграции с текстовыми отчетами. Для решения этих задач мы предлагаем Формальное Описание Визуализации (FDV) — структурированное текстовое представление графиков, которое позволяет LLM обучаться и генерировать разнообразные, высококачественные визуализации. На основе этого представления мы представляем Multimodal DeepResearcher, агентский фреймворк, который разбивает задачу на четыре этапа: (1) исследование, (2) текстуализация примерного отчета, (3) планирование и (4) генерация мультимодального отчета. Для оценки созданных мультимодальных отчетов мы разработали MultimodalReportBench, содержащий 100 разнообразных тем в качестве входных данных, а также 5 специализированных метрик. Масштабные эксперименты с различными моделями и методами оценки демонстрируют эффективность Multimodal DeepResearcher. В частности, при использовании той же модели Claude 3.7 Sonnet, Multimodal DeepResearcher достигает 82\% общего показателя превосходства над базовым методом.

English

Visualizations play a crucial part in effective communication of concepts and information. Recent advances in reasoning and retrieval augmented generation have enabled Large Language Models (LLMs) to perform deep research and generate comprehensive reports. Despite its progress, existing deep research frameworks primarily focus on generating text-only content, leaving the automated generation of interleaved texts and visualizations underexplored. This novel task poses key challenges in designing informative visualizations and effectively integrating them with text reports. To address these challenges, we propose Formal Description of Visualization (FDV), a structured textual representation of charts that enables LLMs to learn from and generate diverse, high-quality visualizations. Building on this representation, we introduce Multimodal DeepResearcher, an agentic framework that decomposes the task into four stages: (1) researching, (2) exemplar report textualization, (3) planning, and (4) multimodal report generation. For the evaluation of generated multimodal reports, we develop MultimodalReportBench, which contains 100 diverse topics served as inputs along with 5 dedicated metrics. Extensive experiments across models and evaluation methods demonstrate the effectiveness of Multimodal DeepResearcher. Notably, utilizing the same Claude 3.7 Sonnet model, Multimodal DeepResearcher achieves an 82\% overall win rate over the baseline method.