PlotGen: Visualização de Dados Científicos baseada em LLM de Múltiplos Agentes via Feedback Multimodal

PlotGen: Multi-Agent LLM-based Scientific Data Visualization via Multimodal Feedback

February 3, 2025

Autores: Kanika Goswami, Puneet Mathur, Ryan Rossi, Franck Dernoncourt

cs.AI

Resumo

A visualização científica de dados é fundamental para transformar dados brutos em representações visuais compreensíveis, possibilitando o reconhecimento de padrões, previsões e a apresentação de insights baseados em dados. No entanto, usuários iniciantes frequentemente enfrentam dificuldades devido à complexidade na seleção de ferramentas apropriadas e no domínio das técnicas de visualização. Modelos de Linguagem de Grande Escala (LLMs) demonstraram recentemente potencial em auxiliar na geração de código, embora enfrentem desafios de precisão e exijam depuração iterativa. Neste artigo, propomos o PlotGen, um novo framework multiagente destinado a automatizar a criação de visualizações científicas precisas. O PlotGen orquestra múltiplos agentes baseados em LLMs, incluindo um Agente de Planejamento de Consultas que divide solicitações complexas dos usuários em etapas executáveis, um Agente de Geração de Código que converte pseudocódigo em código Python executável, e três agentes de feedback de recuperação - um Agente de Feedback Numérico, um Agente de Feedback Lexical e um Agente de Feedback Visual - que utilizam LLMs multimodais para refinar iterativamente a precisão dos dados, rótulos textuais e correção visual dos gráficos gerados por meio de autorreflexão. Experimentos extensivos mostram que o PlotGen supera baselines fortes, alcançando uma melhoria de 4-6 por cento no conjunto de dados MatPlotBench, resultando em uma maior confiança dos usuários em visualizações geradas por LLMs e uma maior produtividade de usuários iniciantes devido à redução do tempo de depuração necessário para erros nos gráficos.

English

Scientific data visualization is pivotal for transforming raw data into comprehensible visual representations, enabling pattern recognition, forecasting, and the presentation of data-driven insights. However, novice users often face difficulties due to the complexity of selecting appropriate tools and mastering visualization techniques. Large Language Models (LLMs) have recently demonstrated potential in assisting code generation, though they struggle with accuracy and require iterative debugging. In this paper, we propose PlotGen, a novel multi-agent framework aimed at automating the creation of precise scientific visualizations. PlotGen orchestrates multiple LLM-based agents, including a Query Planning Agent that breaks down complex user requests into executable steps, a Code Generation Agent that converts pseudocode into executable Python code, and three retrieval feedback agents - a Numeric Feedback Agent, a Lexical Feedback Agent, and a Visual Feedback Agent - that leverage multimodal LLMs to iteratively refine the data accuracy, textual labels, and visual correctness of generated plots via self-reflection. Extensive experiments show that PlotGen outperforms strong baselines, achieving a 4-6 percent improvement on the MatPlotBench dataset, leading to enhanced user trust in LLM-generated visualizations and improved novice productivity due to a reduction in debugging time needed for plot errors.