PlotGen: Visualizzazione di dati scientifici basata su Multi-Agenti LLM tramite Feedback Multimodale

PlotGen: Multi-Agent LLM-based Scientific Data Visualization via Multimodal Feedback

February 3, 2025

Autori: Kanika Goswami, Puneet Mathur, Ryan Rossi, Franck Dernoncourt

cs.AI

Abstract

La visualizzazione scientifica dei dati è fondamentale per trasformare i dati grezzi in rappresentazioni visive comprensibili, consentendo il riconoscimento di modelli, la previsione e la presentazione di intuizioni basate sui dati. Tuttavia, gli utenti alle prime armi spesso incontrano difficoltà a causa della complessità nella selezione degli strumenti appropriati e nel padroneggiare le tecniche di visualizzazione. I Large Language Models (LLM) hanno recentemente dimostrato un potenziale nell'assistere la generazione di codice, anche se faticano con l'accuratezza e richiedono un debugging iterativo. In questo articolo, proponiamo PlotGen, un nuovo framework multi-agente mirato all'automatizzazione della creazione di precise visualizzazioni scientifiche. PlotGen coordina diversi agenti basati su LLM, tra cui un Agente di Pianificazione delle Query che suddivide le richieste complesse dell'utente in passaggi eseguibili, un Agente di Generazione del Codice che converte il pseudocodice in codice Python eseguibile, e tre agenti di feedback di recupero - un Agente di Feedback Numerico, un Agente di Feedback Lessicale e un Agente di Feedback Visivo - che sfruttano LLM multimodali per affinare iterativamente l'accuratezza dei dati, le etichette testuali e la correttezza visiva dei grafici generati tramite auto-riflessione. Estesi esperimenti mostrano che PlotGen supera basi solide, ottenendo un miglioramento del 4-6 percento sul dataset MatPlotBench, portando a una maggiore fiducia dell'utente nelle visualizzazioni generate da LLM e a un miglioramento della produttività dei principianti grazie a una riduzione del tempo di debugging necessario per gli errori nei grafici.

English

Scientific data visualization is pivotal for transforming raw data into comprehensible visual representations, enabling pattern recognition, forecasting, and the presentation of data-driven insights. However, novice users often face difficulties due to the complexity of selecting appropriate tools and mastering visualization techniques. Large Language Models (LLMs) have recently demonstrated potential in assisting code generation, though they struggle with accuracy and require iterative debugging. In this paper, we propose PlotGen, a novel multi-agent framework aimed at automating the creation of precise scientific visualizations. PlotGen orchestrates multiple LLM-based agents, including a Query Planning Agent that breaks down complex user requests into executable steps, a Code Generation Agent that converts pseudocode into executable Python code, and three retrieval feedback agents - a Numeric Feedback Agent, a Lexical Feedback Agent, and a Visual Feedback Agent - that leverage multimodal LLMs to iteratively refine the data accuracy, textual labels, and visual correctness of generated plots via self-reflection. Extensive experiments show that PlotGen outperforms strong baselines, achieving a 4-6 percent improvement on the MatPlotBench dataset, leading to enhanced user trust in LLM-generated visualizations and improved novice productivity due to a reduction in debugging time needed for plot errors.