PlotGen: Visualización de Datos Científicos basada en LLM de Multiagentes a través de Retroalimentación Multimodal

PlotGen: Multi-Agent LLM-based Scientific Data Visualization via Multimodal Feedback

February 3, 2025

Autores: Kanika Goswami, Puneet Mathur, Ryan Rossi, Franck Dernoncourt

cs.AI

Resumen

La visualización científica de datos es fundamental para transformar datos en bruto en representaciones visuales comprensibles, permitiendo el reconocimiento de patrones, pronósticos y la presentación de ideas basadas en datos. Sin embargo, los usuarios novatos a menudo enfrentan dificultades debido a la complejidad de seleccionar herramientas apropiadas y dominar técnicas de visualización. Los Modelos de Lenguaje Grandes (LLMs, por sus siglas en inglés) han demostrado recientemente potencial en asistir en la generación de código, aunque luchan con la precisión y requieren depuración iterativa. En este documento, proponemos PlotGen, un nuevo marco multiagente destinado a automatizar la creación de visualizaciones científicas precisas. PlotGen orquesta múltiples agentes basados en LLM, incluyendo un Agente de Planificación de Consultas que descompone solicitudes de usuario complejas en pasos ejecutables, un Agente de Generación de Código que convierte pseudocódigo en código Python ejecutable, y tres agentes de retroalimentación de recuperación: un Agente de Retroalimentación Numérica, un Agente de Retroalimentación Léxica y un Agente de Retroalimentación Visual, que aprovechan LLM multimodales para refinar de manera iterativa la precisión de los datos, las etiquetas textuales y la corrección visual de los gráficos generados a través de la autorreflexión. Experimentos extensos muestran que PlotGen supera a líneas de base sólidas, logrando una mejora del 4-6 por ciento en el conjunto de datos MatPlotBench, lo que conduce a una mayor confianza del usuario en las visualizaciones generadas por LLM y a una mayor productividad de los novatos debido a una reducción en el tiempo de depuración necesario para errores en los gráficos.

English

Scientific data visualization is pivotal for transforming raw data into comprehensible visual representations, enabling pattern recognition, forecasting, and the presentation of data-driven insights. However, novice users often face difficulties due to the complexity of selecting appropriate tools and mastering visualization techniques. Large Language Models (LLMs) have recently demonstrated potential in assisting code generation, though they struggle with accuracy and require iterative debugging. In this paper, we propose PlotGen, a novel multi-agent framework aimed at automating the creation of precise scientific visualizations. PlotGen orchestrates multiple LLM-based agents, including a Query Planning Agent that breaks down complex user requests into executable steps, a Code Generation Agent that converts pseudocode into executable Python code, and three retrieval feedback agents - a Numeric Feedback Agent, a Lexical Feedback Agent, and a Visual Feedback Agent - that leverage multimodal LLMs to iteratively refine the data accuracy, textual labels, and visual correctness of generated plots via self-reflection. Extensive experiments show that PlotGen outperforms strong baselines, achieving a 4-6 percent improvement on the MatPlotBench dataset, leading to enhanced user trust in LLM-generated visualizations and improved novice productivity due to a reduction in debugging time needed for plot errors.