Spider2-V: Wie weit sind multimodale Agenten von der Automatisierung von Datenwissenschafts- und Ingenieur-Workflows entfernt?

Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows?

July 15, 2024

Autoren: Ruisheng Cao, Fangyu Lei, Haoyuan Wu, Jixuan Chen, Yeqiao Fu, Hongcheng Gao, Xinzhuang Xiong, Hanchong Zhang, Yuchen Mao, Wenjing Hu, Tianbao Xie, Hongshen Xu, Danyang Zhang, Sida Wang, Ruoxi Sun, Pengcheng Yin, Caiming Xiong, Ansong Ni, Qian Liu, Victor Zhong, Lu Chen, Kai Yu, Tao Yu

cs.AI

Zusammenfassung

Datenwissenschafts- und Ingenieur-Workflows umfassen oft mehrere Phasen, von der Datenspeicherung bis zur Orchestrierung, unter Verwendung von Tools wie BigQuery, dbt und Airbyte. Mit dem Fortschritt von Vision Language Models (VLMs) in der multimodalen Verständnis- und Codegenerierung könnten VLM-basierte Agenten potenziell diese Workflows automatisieren, indem sie SQL-Abfragen, Python-Code und GUI-Operationen generieren. Diese Automatisierung kann die Produktivität von Experten verbessern und den Zugang zur Datenanalyse im großen Maßstab demokratisieren. In diesem Papier stellen wir Spider2-V vor, den ersten multimodalen Agenten-Benchmark, der sich auf professionelle Datenwissenschafts- und Ingenieur-Workflows konzentriert und 494 realen Aufgaben in authentischen Computerumgebungen sowie 20 professionelle Anwendungen auf Unternehmensebene umfasst. Diese Aufgaben, abgeleitet von realen Anwendungsfällen, bewerten die Fähigkeit eines multimodalen Agenten, datenbezogene Aufgaben durch das Schreiben von Code und das Verwalten der GUI in Unternehmensdatensoftware-Systemen auszuführen. Um eine ausgewogene realistische Simulation mit einer einfachen Bewertung zu gewährleisten, widmen wir erhebliche Anstrengungen der Entwicklung automatischer Konfigurationen für die Aufgabeneinrichtung und der sorgfältigen Ausarbeitung von Bewertungskriterien für jede Aufgabe. Darüber hinaus ergänzen wir multimodale Agenten mit umfassenden Dokumentationen dieser Unternehmensdatensoftware-Systeme. Unsere empirische Bewertung zeigt, dass bestehende State-of-the-Art LLM/VLM-basierte Agenten Daten-Workflows nicht zuverlässig automatisieren (14,0% Erfolg). Selbst mit schrittweiser Anleitung erbringen diese Agenten immer noch eine unterdurchschnittliche Leistung bei Aufgaben, die feinkörnige, wissensintensive GUI-Aktionen erfordern (16,2%) und Remote-Cloud-Hosted-Arbeitsbereiche einbeziehen (10,6%). Wir hoffen, dass Spider2-V den Weg für autonome multimodale Agenten ebnet, um die Automatisierung von Datenwissenschafts- und Ingenieur-Workflows zu transformieren. Unser Code und unsere Daten sind unter https://spider2-v.github.io verfügbar.

English

Data science and engineering workflows often span multiple stages, from warehousing to orchestration, using tools like BigQuery, dbt, and Airbyte. As vision language models (VLMs) advance in multimodal understanding and code generation, VLM-based agents could potentially automate these workflows by generating SQL queries, Python code, and GUI operations. This automation can improve the productivity of experts while democratizing access to large-scale data analysis. In this paper, we introduce Spider2-V, the first multimodal agent benchmark focusing on professional data science and engineering workflows, featuring 494 real-world tasks in authentic computer environments and incorporating 20 enterprise-level professional applications. These tasks, derived from real-world use cases, evaluate the ability of a multimodal agent to perform data-related tasks by writing code and managing the GUI in enterprise data software systems. To balance realistic simulation with evaluation simplicity, we devote significant effort to developing automatic configurations for task setup and carefully crafting evaluation metrics for each task. Furthermore, we supplement multimodal agents with comprehensive documents of these enterprise data software systems. Our empirical evaluation reveals that existing state-of-the-art LLM/VLM-based agents do not reliably automate full data workflows (14.0% success). Even with step-by-step guidance, these agents still underperform in tasks that require fine-grained, knowledge-intensive GUI actions (16.2%) and involve remote cloud-hosted workspaces (10.6%). We hope that Spider2-V paves the way for autonomous multimodal agents to transform the automation of data science and engineering workflow. Our code and data are available at https://spider2-v.github.io.