딥애널라이즈: 자율 데이터 과학을 위한 에이전트적 대형 언어 모델

DeepAnalyze: Agentic Large Language Models for Autonomous Data Science

October 19, 2025

저자: Shaolei Zhang, Ju Fan, Meihao Fan, Guoliang Li, Xiaoyong Du

cs.AI

초록

원시 데이터 소스부터 분석가 수준의 심층 연구 보고서에 이르는 자율 데이터 과학은 오랜 기간 동안 해결해야 할 과제로 여겨져 왔으며, 강력한 대형 언어 모델(LLM)의 등장으로 이제 실현 가능성이 높아지고 있다. 최근 워크플로우 기반 데이터 에이전트는 특정 데이터 작업에서 유망한 결과를 보여주었지만, 사전 정의된 워크플로우에 의존하기 때문에 완전한 자율 데이터 과학을 달성하는 데 근본적인 한계가 있다. 본 논문에서는 데이터 소스부터 분석가 수준의 심층 연구 보고서까지 종단 간 파이프라인을 자동으로 완료할 수 있는 첫 번째 자율 데이터 과학용 에이전트 LLM인 DeepAnalyze-8B를 소개한다. 고복잡도 데이터 과학 작업을 해결하기 위해, 우리는 인간 데이터 과학자의 학습 경로를 모방한 커리큘럼 기반 에이전트 훈련 패러다임을 제안하여 LLM이 실세계 환경에서 점진적으로 다중 역량을 습득하고 통합할 수 있도록 한다. 또한 고품질 훈련 데이터를 구성하는 데이터 기반 궤적 합성 프레임워크를 도입한다. 에이전트 훈련을 통해 DeepAnalyze는 데이터 질의 응답 및 특수 분석 작업부터 개방형 데이터 연구에 이르기까지 광범위한 데이터 작업을 수행하는 방법을 학습한다. 실험 결과, 단 8B 파라미터만으로도 DeepAnalyze는 가장 진보된 독점 LLM 기반의 이전 워크플로우 에이전트들을 능가하는 성능을 보여준다. DeepAnalyze의 모델, 코드, 훈련 데이터는 오픈소스로 공개되어 자율 데이터 과학으로의 길을 열어준다.

English

Autonomous data science, from raw data sources to analyst-grade deep research reports, has been a long-standing challenge, and is now becoming feasible with the emergence of powerful large language models (LLMs). Recent workflow-based data agents have shown promising results on specific data tasks but remain fundamentally limited in achieving fully autonomous data science due to their reliance on predefined workflows. In this paper, we introduce DeepAnalyze-8B, the first agentic LLM designed for autonomous data science, capable of automatically completing the end-toend pipeline from data sources to analyst-grade deep research reports. To tackle high-complexity data science tasks, we propose a curriculum-based agentic training paradigm that emulates the learning trajectory of human data scientists, enabling LLMs to progressively acquire and integrate multiple capabilities in real-world environments. We also introduce a data-grounded trajectory synthesis framework that constructs high-quality training data. Through agentic training, DeepAnalyze learns to perform a broad spectrum of data tasks, ranging from data question answering and specialized analytical tasks to open-ended data research. Experiments demonstrate that, with only 8B parameters, DeepAnalyze outperforms previous workflow-based agents built on most advanced proprietary LLMs. The model, code, and training data of DeepAnalyze are open-sourced, paving the way toward autonomous data science.