AutoKaggle: Мультиагентный фреймворк для автономных соревнований в области науки о данных

AutoKaggle: A Multi-Agent Framework for Autonomous Data Science Competitions

October 27, 2024

Авторы: Ziming Li, Qianbo Zang, David Ma, Jiawei Guo, Tuney Zheng, Minghao Liu, Xinyao Niu, Yue Wang, Jian Yang, Jiaheng Liu, Wanjun Zhong, Wangchunshu Zhou, Wenhao Huang, Ge Zhang

cs.AI

Аннотация

Задачи по науке о данных, связанные с табличными данными, представляют сложные вызовы, требующие изощренных подходов к решению проблем. Мы предлагаем AutoKaggle, мощную и ориентированную на пользователя платформу, которая помогает специалистам по данным завершить ежедневные процессы обработки данных через совместную мультиагентную систему. AutoKaggle реализует итеративный процесс разработки, который объединяет выполнение кода, отладку и комплексное модульное тестирование для обеспечения правильности кода и логической последовательности. Платформа предлагает высоко настраиваемые рабочие процессы, позволяя пользователям вмешиваться на каждой фазе, таким образом интегрируя автоматизированный интеллект с человеческими знаниями. Наш универсальный инструментарий по науке о данных, включающий проверенные функции для очистки данных, создания признаков и моделирования, является основой этого решения, повышая производительность путем оптимизации общих задач. Мы выбрали 8 соревнований Kaggle для моделирования процессов обработки данных в реальных сценариях применения. Результаты оценки показывают, что AutoKaggle достигает коэффициента подтверждения валидации 0.85 и общий показатель 0.82 в типичных процессах науки о данных, полностью доказывая его эффективность и практичность в решении сложных задач по науке о данных.

English

Data science tasks involving tabular data present complex challenges that require sophisticated problem-solving approaches. We propose AutoKaggle, a powerful and user-centric framework that assists data scientists in completing daily data pipelines through a collaborative multi-agent system. AutoKaggle implements an iterative development process that combines code execution, debugging, and comprehensive unit testing to ensure code correctness and logic consistency. The framework offers highly customizable workflows, allowing users to intervene at each phase, thus integrating automated intelligence with human expertise. Our universal data science toolkit, comprising validated functions for data cleaning, feature engineering, and modeling, forms the foundation of this solution, enhancing productivity by streamlining common tasks. We selected 8 Kaggle competitions to simulate data processing workflows in real-world application scenarios. Evaluation results demonstrate that AutoKaggle achieves a validation submission rate of 0.85 and a comprehensive score of 0.82 in typical data science pipelines, fully proving its effectiveness and practicality in handling complex data science tasks.