PlotGen : Visualisation de données scientifiques basée sur le modèle de langage multimodal multi-agent via un retour multimodal

PlotGen: Multi-Agent LLM-based Scientific Data Visualization via Multimodal Feedback

February 3, 2025

Auteurs: Kanika Goswami, Puneet Mathur, Ryan Rossi, Franck Dernoncourt

cs.AI

Résumé

La visualisation des données scientifiques est cruciale pour transformer les données brutes en représentations visuelles compréhensibles, permettant la reconnaissance de motifs, la prévision et la présentation d'informations basées sur les données. Cependant, les utilisateurs novices rencontrent souvent des difficultés en raison de la complexité du choix des outils appropriés et de la maîtrise des techniques de visualisation. Les grands modèles de langage (GML) ont récemment démontré un potentiel dans l'assistance à la génération de code, bien qu'ils rencontrent des difficultés en termes de précision et nécessitent un débogage itératif. Dans cet article, nous proposons PlotGen, un nouveau cadre multi-agent visant à automatiser la création de visualisations scientifiques précises. PlotGen orchestre plusieurs agents basés sur des GML, comprenant un Agent de Planification de Requêtes qui décompose les demandes complexes des utilisateurs en étapes exécutables, un Agent de Génération de Code qui convertit le pseudocode en code Python exécutable, et trois agents de rétroaction de récupération - un Agent de Rétroaction Numérique, un Agent de Rétroaction Lexicale et un Agent de Rétroaction Visuelle - qui exploitent des GML multimodaux pour affiner de manière itérative l'exactitude des données, les étiquettes textuelles et la correction visuelle des graphiques générés via l'autoréflexion. Des expériences approfondies montrent que PlotGen surpasse des bases solides, atteignant une amélioration de 4 à 6 pour cent sur l'ensemble de données MatPlotBench, ce qui renforce la confiance des utilisateurs dans les visualisations générées par les GML et améliore la productivité des novices en réduisant le temps de débogage nécessaire pour les erreurs de graphique.

English

Scientific data visualization is pivotal for transforming raw data into comprehensible visual representations, enabling pattern recognition, forecasting, and the presentation of data-driven insights. However, novice users often face difficulties due to the complexity of selecting appropriate tools and mastering visualization techniques. Large Language Models (LLMs) have recently demonstrated potential in assisting code generation, though they struggle with accuracy and require iterative debugging. In this paper, we propose PlotGen, a novel multi-agent framework aimed at automating the creation of precise scientific visualizations. PlotGen orchestrates multiple LLM-based agents, including a Query Planning Agent that breaks down complex user requests into executable steps, a Code Generation Agent that converts pseudocode into executable Python code, and three retrieval feedback agents - a Numeric Feedback Agent, a Lexical Feedback Agent, and a Visual Feedback Agent - that leverage multimodal LLMs to iteratively refine the data accuracy, textual labels, and visual correctness of generated plots via self-reflection. Extensive experiments show that PlotGen outperforms strong baselines, achieving a 4-6 percent improvement on the MatPlotBench dataset, leading to enhanced user trust in LLM-generated visualizations and improved novice productivity due to a reduction in debugging time needed for plot errors.