Spider2-V: Quão Longe Estão os Agentes Multimodais da Automatização dos Fluxos de Trabalho em Ciência de Dados e Engenharia?

Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows?

July 15, 2024

Autores: Ruisheng Cao, Fangyu Lei, Haoyuan Wu, Jixuan Chen, Yeqiao Fu, Hongcheng Gao, Xinzhuang Xiong, Hanchong Zhang, Yuchen Mao, Wenjing Hu, Tianbao Xie, Hongshen Xu, Danyang Zhang, Sida Wang, Ruoxi Sun, Pengcheng Yin, Caiming Xiong, Ansong Ni, Qian Liu, Victor Zhong, Lu Chen, Kai Yu, Tao Yu

cs.AI

Resumo

Os fluxos de trabalho de ciência de dados e engenharia frequentemente abrangem várias etapas, desde o armazenamento até a orquestração, utilizando ferramentas como BigQuery, dbt e Airbyte. À medida que os modelos de linguagem de visão (VLMs) avançam em compreensão multimodal e geração de código, agentes baseados em VLMs poderiam potencialmente automatizar esses fluxos de trabalho, gerando consultas SQL, código Python e operações de GUI. Essa automação pode melhorar a produtividade dos especialistas ao democratizar o acesso à análise de dados em larga escala. Neste artigo, apresentamos o Spider2-V, o primeiro benchmark de agentes multimodais focado em fluxos de trabalho profissionais de ciência de dados e engenharia, apresentando 494 tarefas do mundo real em ambientes computacionais autênticos e incorporando 20 aplicativos profissionais de nível empresarial. Essas tarefas, derivadas de casos de uso do mundo real, avaliam a capacidade de um agente multimodal de realizar tarefas relacionadas a dados escrevendo código e gerenciando a GUI em sistemas de software de dados empresariais. Para equilibrar a simulação realista com a simplicidade da avaliação, dedicamos esforços significativos para desenvolver configurações automáticas para a preparação das tarefas e elaborar meticulosamente métricas de avaliação para cada tarefa. Além disso, complementamos os agentes multimodais com documentos abrangentes desses sistemas de software de dados empresariais. Nossa avaliação empírica revela que os agentes existentes baseados em LLM/VLM de última geração não automatizam de forma confiável fluxos de trabalho completos de dados (14,0% de sucesso). Mesmo com orientação passo a passo, esses agentes ainda têm desempenho inferior em tarefas que exigem ações de GUI detalhadas e intensivas em conhecimento (16,2%) e envolvem espaços de trabalho remotos hospedados na nuvem (10,6%). Esperamos que o Spider2-V abra caminho para agentes multimodais autônomos transformarem a automação de fluxos de trabalho de ciência de dados e engenharia. Nosso código e dados estão disponíveis em https://spider2-v.github.io.

English

Data science and engineering workflows often span multiple stages, from warehousing to orchestration, using tools like BigQuery, dbt, and Airbyte. As vision language models (VLMs) advance in multimodal understanding and code generation, VLM-based agents could potentially automate these workflows by generating SQL queries, Python code, and GUI operations. This automation can improve the productivity of experts while democratizing access to large-scale data analysis. In this paper, we introduce Spider2-V, the first multimodal agent benchmark focusing on professional data science and engineering workflows, featuring 494 real-world tasks in authentic computer environments and incorporating 20 enterprise-level professional applications. These tasks, derived from real-world use cases, evaluate the ability of a multimodal agent to perform data-related tasks by writing code and managing the GUI in enterprise data software systems. To balance realistic simulation with evaluation simplicity, we devote significant effort to developing automatic configurations for task setup and carefully crafting evaluation metrics for each task. Furthermore, we supplement multimodal agents with comprehensive documents of these enterprise data software systems. Our empirical evaluation reveals that existing state-of-the-art LLM/VLM-based agents do not reliably automate full data workflows (14.0% success). Even with step-by-step guidance, these agents still underperform in tasks that require fine-grained, knowledge-intensive GUI actions (16.2%) and involve remote cloud-hosted workspaces (10.6%). We hope that Spider2-V paves the way for autonomous multimodal agents to transform the automation of data science and engineering workflow. Our code and data are available at https://spider2-v.github.io.