PlotGen: Многоагентная визуализация научных данных на основе LLM с использованием мультимодальной обратной связи

PlotGen: Multi-Agent LLM-based Scientific Data Visualization via Multimodal Feedback

February 3, 2025

Авторы: Kanika Goswami, Puneet Mathur, Ryan Rossi, Franck Dernoncourt

cs.AI

Аннотация

Научная визуализация данных имеет решающее значение для преобразования необработанных данных в понятные визуальные представления, обеспечивая распознавание шаблонов, прогнозирование и представление данных, основанных на информации. Однако начинающие пользователи часто сталкиваются с трудностями из-за сложности выбора подходящих инструментов и освоения техник визуализации. Большие языковые модели (LLM) недавно продемонстрировали потенциал в помощи генерации кода, хотя они сталкиваются с проблемами точности и требуют итеративной отладки. В данной статье мы предлагаем PlotGen, новую многоагентную структуру, направленную на автоматизацию создания точных научных визуализаций. PlotGen оркестрирует несколько агентов на основе LLM, включая агента планирования запросов, который разбивает сложные запросы пользователей на выполнимые шаги, агента генерации кода, который преобразует псевдокод в исполняемый код Python, и три агента обратной связи по извлечению - агента числовой обратной связи, агента лексической обратной связи и агента визуальной обратной связи - которые используют мультимодальные LLM для итеративного улучшения точности данных, текстовых меток и визуальной корректности созданных графиков через саморефлексию. Обширные эксперименты показывают, что PlotGen превосходит сильные базовые уровни, достигая улучшения на 4-6 процентов на наборе данных MatPlotBench, что приводит к увеличению доверия пользователей к визуализациям, созданным LLM, и повышению производительности начинающих пользователей за счет сокращения времени, необходимого для отладки ошибок в графиках.

English

Scientific data visualization is pivotal for transforming raw data into comprehensible visual representations, enabling pattern recognition, forecasting, and the presentation of data-driven insights. However, novice users often face difficulties due to the complexity of selecting appropriate tools and mastering visualization techniques. Large Language Models (LLMs) have recently demonstrated potential in assisting code generation, though they struggle with accuracy and require iterative debugging. In this paper, we propose PlotGen, a novel multi-agent framework aimed at automating the creation of precise scientific visualizations. PlotGen orchestrates multiple LLM-based agents, including a Query Planning Agent that breaks down complex user requests into executable steps, a Code Generation Agent that converts pseudocode into executable Python code, and three retrieval feedback agents - a Numeric Feedback Agent, a Lexical Feedback Agent, and a Visual Feedback Agent - that leverage multimodal LLMs to iteratively refine the data accuracy, textual labels, and visual correctness of generated plots via self-reflection. Extensive experiments show that PlotGen outperforms strong baselines, achieving a 4-6 percent improvement on the MatPlotBench dataset, leading to enhanced user trust in LLM-generated visualizations and improved novice productivity due to a reduction in debugging time needed for plot errors.