Spider2-V: Насколько далеко мультимодальные агенты от автоматизации научных и инженерных рабочих процессов в области данных?

Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows?

July 15, 2024

Авторы: Ruisheng Cao, Fangyu Lei, Haoyuan Wu, Jixuan Chen, Yeqiao Fu, Hongcheng Gao, Xinzhuang Xiong, Hanchong Zhang, Yuchen Mao, Wenjing Hu, Tianbao Xie, Hongshen Xu, Danyang Zhang, Sida Wang, Ruoxi Sun, Pengcheng Yin, Caiming Xiong, Ansong Ni, Qian Liu, Victor Zhong, Lu Chen, Kai Yu, Tao Yu

cs.AI

Аннотация

Процессы науки о данных и инженерии часто охватывают несколько этапов, начиная с хранения данных и заканчивая оркестрацией, с использованием инструментов, таких как BigQuery, dbt и Airbyte. По мере развития моделей видео-языка (VLM) в мультимодальном понимании и генерации кода, агенты на основе VLM могут потенциально автоматизировать эти рабочие процессы путем создания SQL-запросов, кода Python и операций в графическом интерфейсе. Эта автоматизация может повысить производительность экспертов, обеспечивая демократизацию доступа к анализу данных большого масштаба. В данной статье мы представляем Spider2-V, первый мультимодальный бенчмарк агентов, сосредоточенный на профессиональных рабочих процессах в области науки о данных и инженерии, включающий 494 задачи из реального мира в подлинных компьютерных средах и включающий 20 профессиональных приложений уровня предприятия. Эти задачи, происходящие из реальных сценариев использования, оценивают способность мультимодального агента выполнять задачи, связанные с данными, путем написания кода и управления графическим интерфейсом в системах программного обеспечения для предприятий. Для достижения баланса между реалистичным моделированием и простотой оценки мы уделяем значительные усилия разработке автоматических конфигураций для настройки задач и тщательному созданию метрик оценки для каждой задачи. Более того, мы дополняем мультимодальных агентов подробными документами по этим системам программного обеспечения для предприятий. Наша эмпирическая оценка показывает, что существующие передовые агенты на основе LLM/VLM не надежно автоматизируют полные рабочие процессы с данными (14,0% успеха). Даже при пошаговом руководстве эти агенты все еще показывают недостаточную производительность в задачах, требующих тонких, знаниевооруженных действий в графическом интерфейсе (16,2%) и включающих удаленные облачные рабочие пространства (10,6%). Мы надеемся, что Spider2-V проложит путь для автономных мультимодальных агентов в трансформации автоматизации рабочих процессов в области науки о данных и инженерии. Наш код и данные доступны по адресу https://spider2-v.github.io.

English

Data science and engineering workflows often span multiple stages, from warehousing to orchestration, using tools like BigQuery, dbt, and Airbyte. As vision language models (VLMs) advance in multimodal understanding and code generation, VLM-based agents could potentially automate these workflows by generating SQL queries, Python code, and GUI operations. This automation can improve the productivity of experts while democratizing access to large-scale data analysis. In this paper, we introduce Spider2-V, the first multimodal agent benchmark focusing on professional data science and engineering workflows, featuring 494 real-world tasks in authentic computer environments and incorporating 20 enterprise-level professional applications. These tasks, derived from real-world use cases, evaluate the ability of a multimodal agent to perform data-related tasks by writing code and managing the GUI in enterprise data software systems. To balance realistic simulation with evaluation simplicity, we devote significant effort to developing automatic configurations for task setup and carefully crafting evaluation metrics for each task. Furthermore, we supplement multimodal agents with comprehensive documents of these enterprise data software systems. Our empirical evaluation reveals that existing state-of-the-art LLM/VLM-based agents do not reliably automate full data workflows (14.0% success). Even with step-by-step guidance, these agents still underperform in tasks that require fine-grained, knowledge-intensive GUI actions (16.2%) and involve remote cloud-hosted workspaces (10.6%). We hope that Spider2-V paves the way for autonomous multimodal agents to transform the automation of data science and engineering workflow. Our code and data are available at https://spider2-v.github.io.