AgenticDataBench: Ein umfassender Benchmark für Datenagenten

Zusammenfassung

Data Science zielt darauf ab, aus heterogenen Rohdaten umsetzbare Erkenntnisse zu gewinnen und den Wert der in der modernen Gesellschaft erzeugten enormen Datenmengen zu erschließen. Die Automatisierung dieses Prozesses ist entscheidend, um den arbeitsintensiven Aufwand für Data Scientists zu reduzieren und skalierbare datengesteuerte Anwendungen zu ermöglichen. In letzter Zeit sind auf großen Sprachmodellen (LLMs) basierende Datenagenten als vielversprechende Lösung zur Automatisierung von Data-Science-Workflows entstanden. Allerdings fehlen dem Bereich umfassende Benchmarks, um diese Agenten in verschiedenen Szenarien mit feinkörniger Granularität rigoros zu evaluieren. Um diese Lücke zu schließen, schlagen wir AgenticDataBench vor, einen umfassenden Benchmark mit realistischen Aufgaben aus verschiedenen Bereichen und feinkörnigen Ground-Truth-Labels. Dies ermöglicht Evaluierungen, die die Vielfalt und Komplexität von Data-Science-Workflows sowie die detaillierte Leistung der Agenten erfassen. Erstens sammeln wir zur Abdeckung verschiedener Bereiche reale Datensätze und Aufgaben aus 15 vertikalen Domänen, darunter 5 reale B2B-Anwendungsfälle eines führenden Fintech-Unternehmens. Zweitens führen wir, um Redundanz in realen Aufgaben zu vermeiden und qualitativ hochwertige Aufgaben für Bereiche ohne reale Daten zu generieren, Data-Science-Fähigkeiten, wiederkehrende datenzentrierte Betriebsmuster ein und quantifizieren die Benchmark-Abdeckung durch die Anzahl der enthaltenen Fähigkeiten. Repräsentative Fähigkeiten werden aus großangelegten Aufgabenlösungen auf Stack Overflow mittels fähigkeitsausgerichteter hierarchischer Clusterung extrahiert. Drittens wählen wir für reale Geschäftsaufgaben Aufgaben-Lösungs-Paare aus, die die Diversität der Fähigkeitszusammensetzung maximieren und so eine breite Abdeckung praktischer Szenarien gewährleisten. Viertens schlagen wir zur Generierung realistischer Aufgaben für verschiedene Bereiche ohne reale Aufgaben einen systematischen, auf LLMs basierenden Aufgaben-Generierungsansatz vor, um Workflows und Aufgaben auf Grundlage dieser Fähigkeiten zu erstellen. Schließlich evaluieren wir state-of-the-art Datenagenten mit unserem annotierten Benchmark und Open-Source-Testbed und liefern detaillierte Einblicke auf Fähigkeitsebene.

English

Data science aims to derive actionable insights from heterogeneous raw data, unlocking the value of the massive amounts of data generated in modern society. Automating this process is essential to reducing labor-intensive efforts for data scientists and enabling scalable data-driven applications. Recently, large language model (LLM)-based data agents have emerged as a promising solution to automate data science workflows. However, the field lacks comprehensive benchmarks to rigorously evaluate these agents across diverse scenarios with fine-grained granularity. To address this gap, we propose AgenticDataBench, a comprehensive benchmark featuring realistic tasks spanning diverse domains with fine-grained ground-truth labels. This enables evaluations to capture the diversity and complexity of data science workflows and the detailed performance of agents. First, to cover diverse domains, we collect real datasets and tasks from 15 vertical domains, including 5 real-world B2B use cases from a leading fintech company. Second, to remove redundancy in real-world tasks and generate high-quality tasks for domains lacking real data, we introduce data science skills, recurring data-centric operational patterns, and quantify benchmark coverage by the number of skills included. Representative skills are extracted from large-scale task solutions on Stack Overflow using skill-aligned hierarchical clustering. Third, for real-world business tasks, we select task-solution pairs that maximize diversity in skill composition, ensuring broad coverage of practical scenarios. Fourth, to generate realistic tasks for devise domains without real tasks, we propose a systematic LLM-based task generation approach to create workflows and tasks based on these skills. Finally, we evaluate state-of-the-art data agents using our annotated benchmark and open-sourced testbed, providing detailed skill-level insights.