AgenticDataBench: 데이터 에이전트를 위한 포괄적인 벤치마크

초록

데이터 과학은 이질적인 원시 데이터로부터 실행 가능한 통찰을 도출하여 현대 사회에서 생성되는 방대한 양의 데이터 가치를 활용하는 것을 목표로 한다. 이러한 과정을 자동화하는 것은 데이터 과학자의 노동 집약적 작업을 줄이고 확장 가능한 데이터 기반 애플리케이션을 가능하게 하는 데 필수적이다. 최근에는 대규모 언어 모델(LLM) 기반 데이터 에이전트가 데이터 과학 워크플로를 자동화하는 유망한 해결책으로 부상하고 있다. 그러나 이 분야에는 다양한 시나리오에서 세분화된 수준으로 이러한 에이전트를 엄격하게 평가할 수 있는 포괄적인 벤치마크가 부족하다. 이러한 격차를 해소하기 위해, 우리는 세분화된 실제 레이블을 갖춘 다양한 도메인에 걸친 현실적인 작업을 특징으로 하는 포괄적인 벤치마크인 AgenticDataBench를 제안한다. 이를 통해 데이터 과학 워크플로의 다양성과 복잡성, 그리고 에이전트의 세부 성능을 포착하는 평가가 가능해진다. 첫째, 다양한 도메인을 포괄하기 위해 우리는 주요 핀테크 기업의 5가지 실제 B2B 사용 사례를 포함한 15개 수직 도메인에서 실제 데이터 세트와 작업을 수집한다. 둘째, 실제 작업의 중복을 제거하고 실제 데이터가 부족한 도메인에 대한 고품질 작업을 생성하기 위해, 우리는 데이터 과학 스킬, 반복되는 데이터 중심 운영 패턴을 도입하고 포함된 스킬 수로 벤치마크 커버리지를 정량화한다. 대표적인 스킬은 스킬 정렬 계층적 군집화를 사용하여 Stack Overflow의 대규모 작업 솔루션에서 추출된다. 셋째, 실제 비즈니스 작업의 경우, 스킬 구성의 다양성을 극대화하는 작업-솔루션 쌍을 선택하여 실제 시나리오에 대한 광범위한 커버리지를 보장한다. 넷째, 실제 작업이 없는 고안된 도메인에 대한 현실적인 작업을 생성하기 위해, 우리는 이러한 스킬을 기반으로 워크플로와 작업을 생성하는 체계적인 LLM 기반 작업 생성 접근법을 제안한다. 마지막으로, 우리는 주석이 달린 벤치마크와 오픈소스 테스트베드를 사용하여 최신 데이터 에이전트를 평가하고, 상세한 스킬 수준의 인사이트를 제공한다.

English

Data science aims to derive actionable insights from heterogeneous raw data, unlocking the value of the massive amounts of data generated in modern society. Automating this process is essential to reducing labor-intensive efforts for data scientists and enabling scalable data-driven applications. Recently, large language model (LLM)-based data agents have emerged as a promising solution to automate data science workflows. However, the field lacks comprehensive benchmarks to rigorously evaluate these agents across diverse scenarios with fine-grained granularity. To address this gap, we propose AgenticDataBench, a comprehensive benchmark featuring realistic tasks spanning diverse domains with fine-grained ground-truth labels. This enables evaluations to capture the diversity and complexity of data science workflows and the detailed performance of agents. First, to cover diverse domains, we collect real datasets and tasks from 15 vertical domains, including 5 real-world B2B use cases from a leading fintech company. Second, to remove redundancy in real-world tasks and generate high-quality tasks for domains lacking real data, we introduce data science skills, recurring data-centric operational patterns, and quantify benchmark coverage by the number of skills included. Representative skills are extracted from large-scale task solutions on Stack Overflow using skill-aligned hierarchical clustering. Third, for real-world business tasks, we select task-solution pairs that maximize diversity in skill composition, ensuring broad coverage of practical scenarios. Fourth, to generate realistic tasks for devise domains without real tasks, we propose a systematic LLM-based task generation approach to create workflows and tasks based on these skills. Finally, we evaluate state-of-the-art data agents using our annotated benchmark and open-sourced testbed, providing detailed skill-level insights.