AgenticDataBench : Un benchmark complet pour les agents de données

Résumé

La science des données vise à extraire des informations exploitables à partir de données brutes hétérogènes, libérant ainsi la valeur des quantités massives de données générées dans la société moderne. L'automatisation de ce processus est essentielle pour réduire les efforts laborieux des scientifiques des données et permettre des applications évolutives basées sur les données. Récemment, les agents de données basés sur les grands modèles de langage (LLM) sont apparus comme une solution prometteuse pour automatiser les workflows de science des données. Cependant, le domaine manque de benchmarks complets pour évaluer rigoureusement ces agents dans divers scénarios avec une granularité fine. Pour combler cette lacune, nous proposons AgenticDataBench, un benchmark complet comprenant des tâches réalistes couvrant divers domaines avec des étiquettes de vérité terrain à granularité fine. Cela permet aux évaluations de capturer la diversité et la complexité des workflows de science des données ainsi que les performances détaillées des agents. Premièrement, pour couvrir divers domaines, nous collectons des ensembles de données et des tâches réelles provenant de 15 domaines verticaux, dont 5 cas d'utilisation B2B réels d'une entreprise fintech de premier plan. Deuxièmement, pour éliminer la redondance dans les tâches du monde réel et générer des tâches de haute qualité pour les domaines manquant de données réelles, nous introduisons des compétences en science des données, des motifs opérationnels récurrents centrés sur les données, et quantifions la couverture du benchmark par le nombre de compétences incluses. Les compétences représentatives sont extraites de solutions de tâches à grande échelle sur Stack Overflow en utilisant un clustering hiérarchique aligné sur les compétences. Troisièmement, pour les tâches commerciales du monde réel, nous sélectionnons des paires tâche-solution qui maximisent la diversité dans la composition des compétences, garantissant une large couverture des scénarios pratiques. Quatrièmement, pour générer des tâches réalistes pour des domaines divers sans tâches réelles, nous proposons une approche systématique de génération de tâches basée sur les LLM pour créer des workflows et des tâches basés sur ces compétences. Enfin, nous évaluons des agents de données de pointe en utilisant notre benchmark annoté et notre banc d'essai open-source, fournissant des informations détaillées au niveau des compétences.

English

Data science aims to derive actionable insights from heterogeneous raw data, unlocking the value of the massive amounts of data generated in modern society. Automating this process is essential to reducing labor-intensive efforts for data scientists and enabling scalable data-driven applications. Recently, large language model (LLM)-based data agents have emerged as a promising solution to automate data science workflows. However, the field lacks comprehensive benchmarks to rigorously evaluate these agents across diverse scenarios with fine-grained granularity. To address this gap, we propose AgenticDataBench, a comprehensive benchmark featuring realistic tasks spanning diverse domains with fine-grained ground-truth labels. This enables evaluations to capture the diversity and complexity of data science workflows and the detailed performance of agents. First, to cover diverse domains, we collect real datasets and tasks from 15 vertical domains, including 5 real-world B2B use cases from a leading fintech company. Second, to remove redundancy in real-world tasks and generate high-quality tasks for domains lacking real data, we introduce data science skills, recurring data-centric operational patterns, and quantify benchmark coverage by the number of skills included. Representative skills are extracted from large-scale task solutions on Stack Overflow using skill-aligned hierarchical clustering. Third, for real-world business tasks, we select task-solution pairs that maximize diversity in skill composition, ensuring broad coverage of practical scenarios. Fourth, to generate realistic tasks for devise domains without real tasks, we propose a systematic LLM-based task generation approach to create workflows and tasks based on these skills. Finally, we evaluate state-of-the-art data agents using our annotated benchmark and open-sourced testbed, providing detailed skill-level insights.