DSAgentBench: 에이전트가 실제 컴퓨터 환경에서 엔드-투-엔드 데이터 사이언스 워크플로우를 자동화할 수 있는가?

초록

실제 세계의 데이터 과학은 데이터 정제, 탐색, 모델링, 시각화, 검증에 걸친 장기적 워크플로우를 수반하며, 실제 운영 환경에서 노트북, IDE, 터미널, 브라우저, 데이터베이스와 같은 도구들의 조율된 사용을 요구한다. 그러나 기존 벤치마크는 실제 컴퓨터와의 상호작용이 부족하고 에이전트가 현실적인 컴퓨팅 환경에서 완전한 종단간 데이터 과학 워크플로우를 실행할 수 있는지 평가하지 않아, 데이터 과학 실무의 다단계·다중 도구적 특성을 포착하지 못한다. 본 논문은 에이전트가 실제 컴퓨터 환경 내에서 전체 데이터 과학 워크플로우를 자동화할 수 있는지 평가하는 최초의 벤치마크인 DSAgentBench를 소개한다. DSAgentBench는 데이터 과학 수명주기 전체를 아우르는 275개의 다양한 작업으로 구성되며, 실무에서 요구되는 복잡성과 도구 조율을 반영한다. 각 작업은 중간 산출물에 근거한 의사결정과 조율된 도구 사용을 요구하며, 코드 실행 여부만이 아닌 분석적 정확성, 시각적 출력, 모델 성능을 검증하는 결정론적 평가기를 포함한다. 15개의 폐쇄형 및 오픈소스 모델을 대상으로 한 광범위한 실험에서 가장 강력한 에이전트인 Claude-4.6-Sonnet조차 56.70%의 작업 성공률만을 달성했으며, 모든 오픈소스 에이전트는 1% 미만에 머물러 도구 조율, OS 환경 기반 추론(grounding), 다단계 추론에서 빈번하게 실패했다. 이러한 결과는 현재의 에이전트 시스템과 실제 데이터 과학 워크플로우 사이의 상당한 능력 격차를 드러내며, DSAgentBench를 실제 환경에 기반하며 검증 가능하고 자율적인 데이터 과학 에이전트 개발을 위한 토대로 자리매김하게 한다. DSAgentBench는 https://github.com/vis-nlp/DSAgentBench에서 공개한다.

English

Real-world data science involves long-horizon workflows that span data wrangling, exploration, modeling, visualization, and validation, and require coordinated use of tools such as notebooks, IDEs, terminals, browsers, and databases within real operating environments. Yet existing benchmarks lack real-computer interaction and do not evaluate whether agents can execute complete end-to-end data-science workflows in realistic computing environments, failing to capture the multi-stage, multi-tool nature of data-science practice. We introduce DSAgentBench, the first benchmark to evaluate whether agents can automate full data-science workflows inside real computer environments. DSAgentBench contains 275 diverse tasks covering the entire data-science life-cycle, reflecting the complexity and tool coordination required in practice. Each task requires grounding decisions in intermediate outputs and coordinated tool use, and includes a deterministic evaluator that verifies analytical correctness, visual outputs, and model performance rather than code-only execution. Our extensive experiments with 15 closed- and open-source models show that even the strongest agent, Claude-4.6-Sonnet, achieves only 56.70% task success, while all open-source agents remain below 1%, frequently failing at tool orchestration, OS grounding, and multi-step reasoning. These results reveal a substantial capability gap between current agentic systems and real data-science workflows, positioning DSAgentBench as a foundation for developing grounded, verifiable, autonomous data-science agents. We release DSAgentBench at https://github.com/vis-nlp/DSAgentBench.