AgenticDataBench: データエージェントのための包括的ベンチマーク

要旨

データサイエンスは、多種多様な生データから実用的な洞察を導き出し、現代社会で生成される膨大なデータの価値を引き出すことを目的としています。このプロセスを自動化することは、データサイエンティストの労力を削減し、スケーラブルなデータ駆動型アプリケーションを実現するために不可欠です。近年、大規模言語モデル（LLM）ベースのデータエージェントが、データサイエンスワークフローを自動化する有望なソリューションとして注目されています。しかし、この分野では、多様なシナリオにわたって細かい粒度でこれらのエージェントを厳密に評価するための包括的なベンチマークが不足しています。このギャップを埋めるために、我々はAgenticDataBenchを提案します。これは、多様なドメインにわたる現実的なタスクと細かい正解ラベルを備えた包括的なベンチマークです。これにより、データサイエンスワークフローの多様性と複雑さ、およびエージェントの詳細な性能を捉える評価が可能になります。まず、多様なドメインをカバーするために、15の垂直ドメインから実際のデータセットとタスクを収集します。その中には、大手フィンテック企業からの5つの実際のB2Bユースケースが含まれます。第二に、実際のタスクの冗長性を除去し、実際のデータが不足しているドメイン向けに高品質なタスクを生成するために、データサイエンススキル（繰り返し発生するデータ中心の運用パターン）を導入し、含まれるスキル数によってベンチマークのカバレッジを定量化します。代表的なスキルは、スキル指向の階層的クラスタリングを用いて、Stack Overflow上の大規模なタスクソリューションから抽出されます。第三に、実際のビジネスタスクについては、スキル構成の多様性を最大化するタスクとソリューションのペアを選択し、実践的なシナリオの幅広いカバレッジを確保します。第四に、実際のタスクがない多様なドメイン向けに現実的なタスクを生成するために、これらのスキルに基づいてワークフローとタスクを作成する体系的なLLMベースのタスク生成手法を提案します。最後に、注釈付きベンチマークとオープンソースのテストベッドを用いて最先端のデータエージェントを評価し、詳細なスキルレベルの洞察を提供します。

English

Data science aims to derive actionable insights from heterogeneous raw data, unlocking the value of the massive amounts of data generated in modern society. Automating this process is essential to reducing labor-intensive efforts for data scientists and enabling scalable data-driven applications. Recently, large language model (LLM)-based data agents have emerged as a promising solution to automate data science workflows. However, the field lacks comprehensive benchmarks to rigorously evaluate these agents across diverse scenarios with fine-grained granularity. To address this gap, we propose AgenticDataBench, a comprehensive benchmark featuring realistic tasks spanning diverse domains with fine-grained ground-truth labels. This enables evaluations to capture the diversity and complexity of data science workflows and the detailed performance of agents. First, to cover diverse domains, we collect real datasets and tasks from 15 vertical domains, including 5 real-world B2B use cases from a leading fintech company. Second, to remove redundancy in real-world tasks and generate high-quality tasks for domains lacking real data, we introduce data science skills, recurring data-centric operational patterns, and quantify benchmark coverage by the number of skills included. Representative skills are extracted from large-scale task solutions on Stack Overflow using skill-aligned hierarchical clustering. Third, for real-world business tasks, we select task-solution pairs that maximize diversity in skill composition, ensuring broad coverage of practical scenarios. Fourth, to generate realistic tasks for devise domains without real tasks, we propose a systematic LLM-based task generation approach to create workflows and tasks based on these skills. Finally, we evaluate state-of-the-art data agents using our annotated benchmark and open-sourced testbed, providing detailed skill-level insights.