AutoKaggle: 自律データサイエンス競技のためのマルチエージェントフレームワーク

AutoKaggle: A Multi-Agent Framework for Autonomous Data Science Competitions

October 27, 2024

著者: Ziming Li, Qianbo Zang, David Ma, Jiawei Guo, Tuney Zheng, Minghao Liu, Xinyao Niu, Yue Wang, Jian Yang, Jiaheng Liu, Wanjun Zhong, Wangchunshu Zhou, Wenhao Huang, Ge Zhang

cs.AI

要旨

表形式データを用いるデータサイエンスタスクは、洗練された問題解決アプローチを必要とする複雑な課題を提供します。私たちは、データサイエンティストが日々のデータパイプラインを共同作業するマルチエージェントシステムを通じて完了するのを支援する、強力でユーザーセントリックなフレームワークであるAutoKaggleを提案します。AutoKaggleは、コードの実行、デバッグ、包括的なユニットテストを組み合わせて、コードの正確性と論理の整合性を確保する反復的な開発プロセスを実装しています。このフレームワークは高度にカスタマイズ可能なワークフローを提供し、ユーザーが各段階で介入できるようにし、自動化された知能と人間の専門知識を統合します。データクリーニング、特徴量エンジニアリング、モデリングのための検証済みの機能を含む私たちの汎用データサイエンスツールキットは、共通のタスクを効率化することで生産性を向上させるこのソリューションの基盤を形成しています。私たちは、8つのKaggleコンペティションを選択し、実世界のアプリケーションシナリオでデータ処理ワークフローをシミュレートしました。評価結果は、AutoKaggleが典型的なデータサイエンスパイプラインにおいて0.85の検証提出率と0.82の包括的なスコアを達成し、複雑なデータサイエンスタスクを処理する際の効果と実用性を完全に証明しています。

English

Data science tasks involving tabular data present complex challenges that require sophisticated problem-solving approaches. We propose AutoKaggle, a powerful and user-centric framework that assists data scientists in completing daily data pipelines through a collaborative multi-agent system. AutoKaggle implements an iterative development process that combines code execution, debugging, and comprehensive unit testing to ensure code correctness and logic consistency. The framework offers highly customizable workflows, allowing users to intervene at each phase, thus integrating automated intelligence with human expertise. Our universal data science toolkit, comprising validated functions for data cleaning, feature engineering, and modeling, forms the foundation of this solution, enhancing productivity by streamlining common tasks. We selected 8 Kaggle competitions to simulate data processing workflows in real-world application scenarios. Evaluation results demonstrate that AutoKaggle achieves a validation submission rate of 0.85 and a comprehensive score of 0.82 in typical data science pipelines, fully proving its effectiveness and practicality in handling complex data science tasks.