Spider2-V: Hoe Ver Zijn Multimodale Agents Van Het Automatiseren Van Data Science en Engineering Workflows?

Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows?

July 15, 2024

Auteurs: Ruisheng Cao, Fangyu Lei, Haoyuan Wu, Jixuan Chen, Yeqiao Fu, Hongcheng Gao, Xinzhuang Xiong, Hanchong Zhang, Yuchen Mao, Wenjing Hu, Tianbao Xie, Hongshen Xu, Danyang Zhang, Sida Wang, Ruoxi Sun, Pengcheng Yin, Caiming Xiong, Ansong Ni, Qian Liu, Victor Zhong, Lu Chen, Kai Yu, Tao Yu

cs.AI

Samenvatting

Data science- en engineering-workflows omvatten vaak meerdere fasen, van datawarehousing tot orchestratie, waarbij tools zoals BigQuery, dbt en Airbyte worden gebruikt. Naarmate vision language models (VLMs) vorderen in multimodale begripsvorming en codegeneratie, zouden VLM-gebaseerde agents deze workflows mogelijk kunnen automatiseren door SQL-query's, Python-code en GUI-bewerkingen te genereren. Deze automatisering kan de productiviteit van experts verbeteren en tegelijkertijd toegang tot grootschalige data-analyse democratiseren. In dit artikel introduceren we Spider2-V, de eerste multimodale agentbenchmark die zich richt op professionele data science- en engineering-workflows, met 494 real-world taken in authentieke computeromgevingen en de integratie van 20 enterprise-level professionele applicaties. Deze taken, afgeleid van real-world use cases, evalueren het vermogen van een multimodale agent om data-gerelateerde taken uit te voeren door code te schrijven en de GUI te beheren in enterprise data-softwaresystemen. Om een realistische simulatie te combineren met evaluatie-eenvoud, hebben we aanzienlijke inspanningen geleverd aan het ontwikkelen van automatische configuraties voor taakopzet en het zorgvuldig ontwerpen van evaluatiemetrics voor elke taak. Bovendien voorzien we multimodale agents van uitgebreide documentatie van deze enterprise data-softwaresystemen. Onze empirische evaluatie toont aan dat bestaande state-of-the-art LLM/VLM-gebaseerde agents niet betrouwbaar volledige data-workflows automatiseren (14,0% succes). Zelfs met stapsgewijze begeleiding presteren deze agents nog steeds onder de maat in taken die fijnmazige, kennisintensieve GUI-acties vereisen (16,2%) en werken in externe cloud-gehoste werkruimten (10,6%). We hopen dat Spider2-V de weg vrijmaakt voor autonome multimodale agents om de automatisering van data science- en engineering-workflows te transformeren. Onze code en data zijn beschikbaar op https://spider2-v.github.io.

English

Data science and engineering workflows often span multiple stages, from warehousing to orchestration, using tools like BigQuery, dbt, and Airbyte. As vision language models (VLMs) advance in multimodal understanding and code generation, VLM-based agents could potentially automate these workflows by generating SQL queries, Python code, and GUI operations. This automation can improve the productivity of experts while democratizing access to large-scale data analysis. In this paper, we introduce Spider2-V, the first multimodal agent benchmark focusing on professional data science and engineering workflows, featuring 494 real-world tasks in authentic computer environments and incorporating 20 enterprise-level professional applications. These tasks, derived from real-world use cases, evaluate the ability of a multimodal agent to perform data-related tasks by writing code and managing the GUI in enterprise data software systems. To balance realistic simulation with evaluation simplicity, we devote significant effort to developing automatic configurations for task setup and carefully crafting evaluation metrics for each task. Furthermore, we supplement multimodal agents with comprehensive documents of these enterprise data software systems. Our empirical evaluation reveals that existing state-of-the-art LLM/VLM-based agents do not reliably automate full data workflows (14.0% success). Even with step-by-step guidance, these agents still underperform in tasks that require fine-grained, knowledge-intensive GUI actions (16.2%) and involve remote cloud-hosted workspaces (10.6%). We hope that Spider2-V paves the way for autonomous multimodal agents to transform the automation of data science and engineering workflow. Our code and data are available at https://spider2-v.github.io.