AgenticDataBench: un benchmark integral para agentes de datos

Resumen

La ciencia de datos tiene como objetivo extraer información procesable a partir de datos brutos heterogéneos, liberando el valor de las enormes cantidades de datos generados en la sociedad moderna. Automatizar este proceso es esencial para reducir el trabajo intensivo de los científicos de datos y permitir aplicaciones escalables basadas en datos. Recientemente, los agentes de datos basados en modelos de lenguaje de gran escala (LLM) han surgido como una solución prometedora para automatizar los flujos de trabajo de la ciencia de datos. Sin embargo, el campo carece de benchmarks exhaustivos para evaluar rigurosamente a estos agentes en diversos escenarios con un nivel de detalle fino. Para abordar esta brecha, proponemos AgenticDataBench, un benchmark integral que presenta tareas realistas que abarcan diversos dominios con etiquetas de verdad fundamental detalladas. Esto permite que las evaluaciones capturen la diversidad y complejidad de los flujos de trabajo de la ciencia de datos y el rendimiento detallado de los agentes. En primer lugar, para cubrir diversos dominios, recopilamos conjuntos de datos y tareas reales de 15 dominios verticales, incluyendo 5 casos de uso B2B del mundo real de una empresa fintech líder. En segundo lugar, para eliminar redundancias en las tareas del mundo real y generar tareas de alta calidad para dominios que carecen de datos reales, introducimos habilidades de ciencia de datos, patrones operativos recurrentes centrados en datos, y cuantificamos la cobertura del benchmark mediante el número de habilidades incluidas. Las habilidades representativas se extraen de soluciones de tareas a gran escala en Stack Overflow utilizando agrupamiento jerárquico alineado por habilidades. En tercer lugar, para tareas empresariales reales, seleccionamos pares de tarea-solución que maximicen la diversidad en la composición de habilidades, asegurando una amplia cobertura de escenarios prácticos. En cuarto lugar, para generar tareas realistas para dominios sin tareas reales, proponemos un enfoque sistemático de generación de tareas basado en LLM para crear flujos de trabajo y tareas a partir de estas habilidades. Finalmente, evaluamos agentes de datos de última generación utilizando nuestro benchmark anotado y banco de pruebas de código abierto, proporcionando información detallada a nivel de habilidades.

English

Data science aims to derive actionable insights from heterogeneous raw data, unlocking the value of the massive amounts of data generated in modern society. Automating this process is essential to reducing labor-intensive efforts for data scientists and enabling scalable data-driven applications. Recently, large language model (LLM)-based data agents have emerged as a promising solution to automate data science workflows. However, the field lacks comprehensive benchmarks to rigorously evaluate these agents across diverse scenarios with fine-grained granularity. To address this gap, we propose AgenticDataBench, a comprehensive benchmark featuring realistic tasks spanning diverse domains with fine-grained ground-truth labels. This enables evaluations to capture the diversity and complexity of data science workflows and the detailed performance of agents. First, to cover diverse domains, we collect real datasets and tasks from 15 vertical domains, including 5 real-world B2B use cases from a leading fintech company. Second, to remove redundancy in real-world tasks and generate high-quality tasks for domains lacking real data, we introduce data science skills, recurring data-centric operational patterns, and quantify benchmark coverage by the number of skills included. Representative skills are extracted from large-scale task solutions on Stack Overflow using skill-aligned hierarchical clustering. Third, for real-world business tasks, we select task-solution pairs that maximize diversity in skill composition, ensuring broad coverage of practical scenarios. Fourth, to generate realistic tasks for devise domains without real tasks, we propose a systematic LLM-based task generation approach to create workflows and tasks based on these skills. Finally, we evaluate state-of-the-art data agents using our annotated benchmark and open-sourced testbed, providing detailed skill-level insights.