PlotGen: Wetenschappelijke gegevensvisualisatie via Multi-Agent LLM met behulp van multimodale feedback

PlotGen: Multi-Agent LLM-based Scientific Data Visualization via Multimodal Feedback

February 3, 2025

Auteurs: Kanika Goswami, Puneet Mathur, Ryan Rossi, Franck Dernoncourt

cs.AI

Samenvatting

Wetenschappelijke gegevensvisualisatie is essentieel voor het omzetten van ruwe data in begrijpelijke visuele representaties, waardoor patroonherkenning, voorspellingen en de presentatie van op data gebaseerde inzichten mogelijk worden. Echter, beginnende gebruikers ondervinden vaak moeilijkheden vanwege de complexiteit van het selecteren van geschikte tools en het beheersen van visualisatietechnieken. Grote Taalmodellen (GTM's) hebben onlangs potentieel aangetoond bij het assisteren bij codegeneratie, hoewel ze worstelen met nauwkeurigheid en iteratief debuggen. In dit artikel stellen we PlotGen voor, een nieuw multi-agent framework gericht op het automatiseren van de creatie van nauwkeurige wetenschappelijke visualisaties. PlotGen coördineert meerdere op GTM's gebaseerde agenten, waaronder een Query Planning Agent die complexe gebruikersverzoeken opsplitst in uitvoerbare stappen, een Code Generatie Agent die pseudocode omzet in uitvoerbare Python-code, en drie feedbackagenten voor terugkoppeling - een Numerieke Feedback Agent, een Lexicale Feedback Agent en een Visuele Feedback Agent - die multimodale GTM's benutten om iteratief de data-accuraatheid, tekstuele labels en visuele correctheid van gegenereerde plots te verfijnen via zelfreflectie. Uitgebreide experimenten tonen aan dat PlotGen sterke baselines overtreft, met een verbetering van 4-6 procent op de MatPlotBench dataset, wat leidt tot verbeterd vertrouwen van gebruikers in door GTM's gegenereerde visualisaties en verbeterde productiviteit van beginners door een vermindering van de benodigde debugtijd voor plotfouten.

English

Scientific data visualization is pivotal for transforming raw data into comprehensible visual representations, enabling pattern recognition, forecasting, and the presentation of data-driven insights. However, novice users often face difficulties due to the complexity of selecting appropriate tools and mastering visualization techniques. Large Language Models (LLMs) have recently demonstrated potential in assisting code generation, though they struggle with accuracy and require iterative debugging. In this paper, we propose PlotGen, a novel multi-agent framework aimed at automating the creation of precise scientific visualizations. PlotGen orchestrates multiple LLM-based agents, including a Query Planning Agent that breaks down complex user requests into executable steps, a Code Generation Agent that converts pseudocode into executable Python code, and three retrieval feedback agents - a Numeric Feedback Agent, a Lexical Feedback Agent, and a Visual Feedback Agent - that leverage multimodal LLMs to iteratively refine the data accuracy, textual labels, and visual correctness of generated plots via self-reflection. Extensive experiments show that PlotGen outperforms strong baselines, achieving a 4-6 percent improvement on the MatPlotBench dataset, leading to enhanced user trust in LLM-generated visualizations and improved novice productivity due to a reduction in debugging time needed for plot errors.