PlotGen: Multi-Agent LLM-basierte wissenschaftliche Datenvisualisierung mittels multimodalem Feedback.

PlotGen: Multi-Agent LLM-based Scientific Data Visualization via Multimodal Feedback

February 3, 2025

Autoren: Kanika Goswami, Puneet Mathur, Ryan Rossi, Franck Dernoncourt

cs.AI

Zusammenfassung

Die wissenschaftliche Datenvisualisierung ist entscheidend, um Rohdaten in verständliche visuelle Darstellungen umzuwandeln, die Mustererkennung, Prognosen und die Präsentation datengesteuerter Erkenntnisse ermöglichen. Allerdings haben Anfänger häufig Schwierigkeiten aufgrund der Komplexität bei der Auswahl geeigneter Werkzeuge und der Beherrschung von Visualisierungstechniken. Große Sprachmodelle (LLMs) haben kürzlich Potenzial bei der Unterstützung der Codegenerierung gezeigt, kämpfen jedoch mit Genauigkeit und erfordern iteratives Debugging. In diesem Papier schlagen wir PlotGen vor, ein neuartiges Multi-Agenten-Framework, das darauf abzielt, die Erstellung präziser wissenschaftlicher Visualisierungen zu automatisieren. PlotGen orchestriert mehrere auf LLMs basierende Agenten, darunter ein Abfrageplanungsagent, der komplexe Benutzeranfragen in ausführbare Schritte aufteilt, ein Codegenerierungsagent, der Pseudocode in ausführbaren Python-Code umwandelt, und drei Rückkopplungsagenten - ein Numerischer Rückkopplungsagent, ein Lexikalischer Rückkopplungsagent und ein Visueller Rückkopplungsagent - die multimodale LLMs nutzen, um die Datenpräzision, textuelle Beschriftungen und visuelle Korrektheit generierter Plots über Selbstreflexion iterativ zu verfeinern. Umfangreiche Experimente zeigen, dass PlotGen starke Baselines übertrifft, eine Verbesserung von 4-6 Prozent auf dem MatPlotBench-Datensatz erzielt und zu einem gesteigerten Vertrauen der Benutzer in von LLM generierte Visualisierungen sowie einer verbesserten Produktivität von Anfängern führt, da die zur Behebung von Plotfehlern erforderliche Debugging-Zeit reduziert wird.

English

Scientific data visualization is pivotal for transforming raw data into comprehensible visual representations, enabling pattern recognition, forecasting, and the presentation of data-driven insights. However, novice users often face difficulties due to the complexity of selecting appropriate tools and mastering visualization techniques. Large Language Models (LLMs) have recently demonstrated potential in assisting code generation, though they struggle with accuracy and require iterative debugging. In this paper, we propose PlotGen, a novel multi-agent framework aimed at automating the creation of precise scientific visualizations. PlotGen orchestrates multiple LLM-based agents, including a Query Planning Agent that breaks down complex user requests into executable steps, a Code Generation Agent that converts pseudocode into executable Python code, and three retrieval feedback agents - a Numeric Feedback Agent, a Lexical Feedback Agent, and a Visual Feedback Agent - that leverage multimodal LLMs to iteratively refine the data accuracy, textual labels, and visual correctness of generated plots via self-reflection. Extensive experiments show that PlotGen outperforms strong baselines, achieving a 4-6 percent improvement on the MatPlotBench dataset, leading to enhanced user trust in LLM-generated visualizations and improved novice productivity due to a reduction in debugging time needed for plot errors.