DSAgentBench: エージェントは実在のコンピューター環境においてデータサイエンスワークフローをエンドツーエンドで自動化できるか？

要旨

実世界のデータサイエンスには、データラングリング、探索、モデリング、可視化、検証にわたる長期的なワークフローが含まれ、実際の動作環境でノートブック、IDE、ターミナル、ブラウザ、データベースなどのツールを協調的に使用することが必要とされる。しかし、既存のベンチマークは実際のコンピュータとの対話を欠いており、現実的な計算環境においてエージェントが完全なエンドツーエンドのデータサイエンスワークフローを実行できるかを評価していないため、データサイエンス実践の多段階・多ツールという性質を捉えられていない。我々は、実際のコンピュータ環境内でエージェントがデータサイエンスワークフロー全体を自動化できるかを評価する初のベンチマークであるDSAgentBenchを提案する。DSAgentBenchは、データサイエンスライフサイクル全体を網羅する275の多様なタスクを含み、実際に必要とされる複雑さとツール連携を反映している。各タスクは、中間出力に基づく判断とツールの協調的使用を必要とし、コードの実行のみではなく、分析の正しさ、可視化出力、モデル性能を検証する決定的評価器を備えている。クローズドソースおよびオープンソースの15モデルを用いた広範な実験では、最強のエージェントであるClaude-4.6-Sonnetでさえタスク成功率は56.70%にとどまり、オープンソースのエージェントはすべて1%未満にとどまり、ツールオーケストレーション、OSグラウンディング、多段階推論において頻繁に失敗した。これらの結果は、現在のエージェントシステムと実際のデータサイエンスワークフローとの間に大きな能力ギャップがあることを明らかにし、DSAgentBenchを、グラウンディングされ、検証可能で、自律的なデータサイエンスエージェントを開発するための基盤として位置づけている。DSAgentBenchは、https://github.com/vis-nlp/DSAgentBench で公開する。

English

Real-world data science involves long-horizon workflows that span data wrangling, exploration, modeling, visualization, and validation, and require coordinated use of tools such as notebooks, IDEs, terminals, browsers, and databases within real operating environments. Yet existing benchmarks lack real-computer interaction and do not evaluate whether agents can execute complete end-to-end data-science workflows in realistic computing environments, failing to capture the multi-stage, multi-tool nature of data-science practice. We introduce DSAgentBench, the first benchmark to evaluate whether agents can automate full data-science workflows inside real computer environments. DSAgentBench contains 275 diverse tasks covering the entire data-science life-cycle, reflecting the complexity and tool coordination required in practice. Each task requires grounding decisions in intermediate outputs and coordinated tool use, and includes a deterministic evaluator that verifies analytical correctness, visual outputs, and model performance rather than code-only execution. Our extensive experiments with 15 closed- and open-source models show that even the strongest agent, Claude-4.6-Sonnet, achieves only 56.70% task success, while all open-source agents remain below 1%, frequently failing at tool orchestration, OS grounding, and multi-step reasoning. These results reveal a substantial capability gap between current agentic systems and real data-science workflows, positioning DSAgentBench as a foundation for developing grounded, verifiable, autonomous data-science agents. We release DSAgentBench at https://github.com/vis-nlp/DSAgentBench.