CausalDS: データサイエンスエージェントにおける因果推論のベンチマーク

要旨

大規模言語モデル（LLM）は、抽象的推論と高度なツール利用を組み合わせ、統合型データサイエンスエージェントとしての役割をますます果たしている。しかしながら、関連するベンチマークの状況は、現実的なデータ分析を伴わない記号的な因果推論ベンチマークと、原理的な因果データ生成構造を持たないデータ分析ベンチマークとに大きく二分されている。さらに、既存の因果評価データセットは、既存の情報源から得られた厳選された事例に限定されることが多く、その多様性は、新しい合成因果構造の体系的な生成ではなく、限られたテンプレート化されたバリエーションに依存している。本稿では、エージェント型データサイエンスワークフローにおける因果推論を評価するためのベンチマークであるCausalDSを紹介する。各ベンチマークインスタンスは、サンプリングされた構造的因果モデル（SCM）とそれによって生成された観測データ、および現実的なドメインに基づく合成自然言語ストーリーから構成されるシーンである。我々はオプションとして、ベンチマーク構成要素の構成を実世界データセットから得られた経験的分布に基づいて行う。これにより、完全に合成生成を通じて「因果のオウム」リスクを低減しつつ、経験的構造を保持する。各シーンから、パールの三つの段階すべてにわたるタスクを導出し、典型的なデータサイエンスの予測タスクは第一段階として現れる。ほとんどのタスクにはデータサイエンスのコーディング要素が含まれており、不完全な観測（観測モデルによって生成される）が頻繁に存在するため、モデルは通常、最終的な回答に到達するために複数のツールを使用する必要がある。さらに、質問に対して正当な回答が存在しないことを認識し、回答を控えることは、一次的なスコアリング対象として扱われる。したがって、このベンチマークは、記号的因果推論、データサイエンス、不確実性定量化、回答放棄、ツール利用／コーディングを統合的に評価する。

English

Large language models (LLMs) increasingly act as integrated data-science agents, combining abstract reasoning with advanced tool use. Yet the relevant benchmark landscape largely divides into symbolic causal reasoning benchmarks without realistic data analysis or data analysis benchmarks without a principled causal data-generating structure. Furthermore, existing causal evaluation datasets are often restricted to curated examples from existing sources, with diversity coming from limited templatized variations rather than from systematic generation of novel synthetic causal structures. We introduce CausalDS, a benchmark for evaluating causal reasoning in agentic data-science workflows. Each benchmark instance is a scene consisting of a sampled structural causal model (SCM) with generated observational data and an accompanying synthetic natural-language story grounded in a realistic domain. We optionally ground the composition of the benchmark components in empirical distributions obtained from real-world datasets, thus retaining empirical structure while reducing the "causal parrot" risk through completely synthetic generation. From each scene, we then derive tasks spanning all three of Pearl's rungs, with typical data-science prediction tasks appearing as Rung 1. Most tasks include a data science coding component, where the model typically needs to use several tools to arrive at the final answer due to the frequent presence of imperfect observations, which are generated by an observation model. Additionally, recognizing when a question admits no warranted answer and abstaining is treated as a first-class scored outcome. The benchmark thus jointly evaluates symbolic causal reasoning, data science, uncertainty quantification, abstention, and tool use/coding.