PlotGen: マルチエージェントLLMに基づく科学データの視覚化：マルチモーダルフィードバックを介した

PlotGen: Multi-Agent LLM-based Scientific Data Visualization via Multimodal Feedback

February 3, 2025

著者: Kanika Goswami, Puneet Mathur, Ryan Rossi, Franck Dernoncourt

cs.AI

要旨

科学データの可視化は、生データを理解可能な視覚表現に変換するために重要であり、パターン認識、予測、データ駆動型の洞察の提示を可能にします。しかしながら、初心者のユーザーはしばしば適切なツールの選択や可視化技術の習得の複雑さによって困難に直面します。大規模言語モデル（Large Language Models、LLMs）は最近、コード生成を支援する潜在能力を示していますが、精度に苦しんでおり、反復的なデバッグが必要です。本論文では、厳密な科学的可視化の自動化を目的とした新しいマルチエージェントフレームワークであるPlotGenを提案します。PlotGenは、複数のLLMベースのエージェントを組み合わせて構成されており、複雑なユーザーリクエストを実行可能なステップに分解するクエリ計画エージェント、疑似コードを実行可能なPythonコードに変換するコード生成エージェント、およびデータの精度、テキストラベル、生成されたプロットの視覚的正確性を自己反映を通じて反復的に洗練するためにマルチモーダルLLMsを活用する数値フィードバックエージェント、語彙フィードバックエージェント、視覚フィードバックエージェントの3つの取得フィードバックエージェントを統括しています。広範な実験により、PlotGenがMatPlotBenchデータセットで強力なベースラインを上回り、LLMによる可視化へのユーザーの信頼向上と、プロットエラーのデバッグに必要な時間の短縮による初心者の生産性向上をもたらす、4〜6％の改善を達成していることが示されました。

English

Scientific data visualization is pivotal for transforming raw data into comprehensible visual representations, enabling pattern recognition, forecasting, and the presentation of data-driven insights. However, novice users often face difficulties due to the complexity of selecting appropriate tools and mastering visualization techniques. Large Language Models (LLMs) have recently demonstrated potential in assisting code generation, though they struggle with accuracy and require iterative debugging. In this paper, we propose PlotGen, a novel multi-agent framework aimed at automating the creation of precise scientific visualizations. PlotGen orchestrates multiple LLM-based agents, including a Query Planning Agent that breaks down complex user requests into executable steps, a Code Generation Agent that converts pseudocode into executable Python code, and three retrieval feedback agents - a Numeric Feedback Agent, a Lexical Feedback Agent, and a Visual Feedback Agent - that leverage multimodal LLMs to iteratively refine the data accuracy, textual labels, and visual correctness of generated plots via self-reflection. Extensive experiments show that PlotGen outperforms strong baselines, achieving a 4-6 percent improvement on the MatPlotBench dataset, leading to enhanced user trust in LLM-generated visualizations and improved novice productivity due to a reduction in debugging time needed for plot errors.