CausalDS: Benchmarking des kausalen Schlussfolgerns in Data-Science-Agenten

Zusammenfassung

Große Sprachmodelle (Large Language Models, LLMs) agieren zunehmend als integrierte Data-Science-Agenten, die abstraktes Denken mit fortgeschrittener Werkzeugnutzung verbinden. Die relevante Benchmark-Landschaft gliedert sich jedoch weitgehend in symbolische Kausalreasoning-Benchmarks ohne realistische Datenanalyse oder Datenanalyse-Benchmarks ohne prinzipielle kausale Datengenerierungsstruktur. Darüber hinaus beschränken sich bestehende kausale Evaluierungsdatensätze oft auf kuratierte Beispiele aus vorhandenen Quellen, wobei die Vielfalt eher aus begrenzten templatisierten Variationen als aus systematischer Generierung neuartiger synthetischer Kausalstrukturen stammt. Wir führen CausalDS ein, eine Benchmark zur Evaluierung kausalen Denkens in agentischen Data-Science-Workflows. Jedes Benchmark-Instanz besteht aus einer Szene, die ein abgetastetes strukturelles Kausalmodell (SCM) mit generierten Beobachtungsdaten und einer begleitenden synthetischen natürlichsprachlichen Geschichte umfasst, die in einer realistischen Domäne verankert ist. Optional verankern wir die Zusammensetzung der Benchmark-Komponenten in empirischen Verteilungen, die aus realen Datensätzen gewonnen werden, und bewahren so die empirische Struktur, während das Risiko des „Kausalpapageien“ durch vollständig synthetische Generierung reduziert wird. Aus jeder Szene leiten wir dann Aufgaben ab, die alle drei Stufen von Pearl abdecken, wobei typische Data-Science-Vorhersageaufgaben als Stufe 1 auftreten. Die meisten Aufgaben beinhalten eine Data-Science-Coding-Komponente, bei der das Modell in der Regel mehrere Werkzeuge einsetzen muss, um zur endgültigen Antwort zu gelangen, da häufig unvollkommene Beobachtungen vorliegen, die durch ein Beobachtungsmodell generiert werden. Zusätzlich wird die Erkennung, wenn eine Frage keine berechtigte Antwort zulässt, und das Enthalten als erstklassig bewertetes Ergebnis behandelt. Die Benchmark evaluiert somit gemeinsam symbolisches Kausalreasoning, Data Science, Unsicherheitsquantifizierung, Enthaltung sowie Werkzeugnutzung und Programmierung.

English

Large language models (LLMs) increasingly act as integrated data-science agents, combining abstract reasoning with advanced tool use. Yet the relevant benchmark landscape largely divides into symbolic causal reasoning benchmarks without realistic data analysis or data analysis benchmarks without a principled causal data-generating structure. Furthermore, existing causal evaluation datasets are often restricted to curated examples from existing sources, with diversity coming from limited templatized variations rather than from systematic generation of novel synthetic causal structures. We introduce CausalDS, a benchmark for evaluating causal reasoning in agentic data-science workflows. Each benchmark instance is a scene consisting of a sampled structural causal model (SCM) with generated observational data and an accompanying synthetic natural-language story grounded in a realistic domain. We optionally ground the composition of the benchmark components in empirical distributions obtained from real-world datasets, thus retaining empirical structure while reducing the "causal parrot" risk through completely synthetic generation. From each scene, we then derive tasks spanning all three of Pearl's rungs, with typical data-science prediction tasks appearing as Rung 1. Most tasks include a data science coding component, where the model typically needs to use several tools to arrive at the final answer due to the frequent presence of imperfect observations, which are generated by an observation model. Additionally, recognizing when a question admits no warranted answer and abstaining is treated as a first-class scored outcome. The benchmark thus jointly evaluates symbolic causal reasoning, data science, uncertainty quantification, abstention, and tool use/coding.