Spider2-V: マルチモーダルエージェントはデータサイエンスとエンジニアリングワークフローの自動化にどこまで近づいているか？

Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows?

July 15, 2024

著者: Ruisheng Cao, Fangyu Lei, Haoyuan Wu, Jixuan Chen, Yeqiao Fu, Hongcheng Gao, Xinzhuang Xiong, Hanchong Zhang, Yuchen Mao, Wenjing Hu, Tianbao Xie, Hongshen Xu, Danyang Zhang, Sida Wang, Ruoxi Sun, Pengcheng Yin, Caiming Xiong, Ansong Ni, Qian Liu, Victor Zhong, Lu Chen, Kai Yu, Tao Yu

cs.AI

要旨

データサイエンスとエンジニアリングのワークフローは、BigQuery、dbt、Airbyteなどのツールを使用して、データウェアハウジングからオーケストレーションまで複数の段階にわたることが多い。視覚言語モデル（VLM）がマルチモーダル理解とコード生成において進化するにつれ、VLMベースのエージェントは、SQLクエリ、Pythonコード、GUI操作を生成することで、これらのワークフローを自動化する可能性がある。この自動化により、専門家の生産性が向上するだけでなく、大規模なデータ分析へのアクセスが民主化される。本論文では、プロフェッショナルなデータサイエンスとエンジニアリングのワークフローに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。Spider2-Vは、494の実世界のタスクを本物のコンピュータ環境で提供し、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。これらのタスクは、実世界のユースケースに基づいており、マルチモーダルエージェントがエンタープライズデータソフトウェアシステムにおいてコードを記述し、GUIを管理する能力を評価する。現実的なシミュレーションと評価の簡便さを両立させるため、タスク設定の自動構成に多大な努力を注ぎ、各タスクの評価指標を慎重に設計した。さらに、マルチモーダルエージェントにこれらのエンタープライズデータソフトウェアシステムの包括的なドキュメントを提供する。我々の実証評価によると、既存の最先端のLLM/VLMベースのエージェントは、完全なデータワークフローを確実に自動化できない（14.0%の成功率）。ステップバイステップのガイダンスがあっても、これらのエージェントは、細かい知識集約型のGUIアクションを必要とするタスク（16.2%）やリモートのクラウドホストワークスペースを伴うタスク（10.6%）で依然として低いパフォーマンスを示す。Spider2-Vが、自律型マルチモーダルエージェントによるデータサイエンスとエンジニアリングワークフローの自動化を変革する道を開くことを期待する。我々のコードとデータはhttps://spider2-v.github.ioで公開されている。

English

Data science and engineering workflows often span multiple stages, from warehousing to orchestration, using tools like BigQuery, dbt, and Airbyte. As vision language models (VLMs) advance in multimodal understanding and code generation, VLM-based agents could potentially automate these workflows by generating SQL queries, Python code, and GUI operations. This automation can improve the productivity of experts while democratizing access to large-scale data analysis. In this paper, we introduce Spider2-V, the first multimodal agent benchmark focusing on professional data science and engineering workflows, featuring 494 real-world tasks in authentic computer environments and incorporating 20 enterprise-level professional applications. These tasks, derived from real-world use cases, evaluate the ability of a multimodal agent to perform data-related tasks by writing code and managing the GUI in enterprise data software systems. To balance realistic simulation with evaluation simplicity, we devote significant effort to developing automatic configurations for task setup and carefully crafting evaluation metrics for each task. Furthermore, we supplement multimodal agents with comprehensive documents of these enterprise data software systems. Our empirical evaluation reveals that existing state-of-the-art LLM/VLM-based agents do not reliably automate full data workflows (14.0% success). Even with step-by-step guidance, these agents still underperform in tasks that require fine-grained, knowledge-intensive GUI actions (16.2%) and involve remote cloud-hosted workspaces (10.6%). We hope that Spider2-V paves the way for autonomous multimodal agents to transform the automation of data science and engineering workflow. Our code and data are available at https://spider2-v.github.io.