AutoMind: Адаптивный интеллектуальный агент для автоматизированной науки о данных

AutoMind: Adaptive Knowledgeable Agent for Automated Data Science

June 12, 2025

Авторы: Yixin Ou, Yujie Luo, Jingsheng Zheng, Lanning Wei, Shuofei Qiao, Jintian Zhang, Da Zheng, Huajun Chen, Ningyu Zhang

cs.AI

Аннотация

Агенты на основе больших языковых моделей (LLM) продемонстрировали значительный потенциал в решении реальных задач науки о данных. LLM-управляемые агенты для науки о данных обещают автоматизировать весь конвейер машинного обучения, однако их эффективность в реальных условиях остается ограниченной. Существующие фреймворки зависят от жестких, заранее определенных рабочих процессов и негибких стратегий написания кода; как следствие, они преуспевают только в относительно простых, классических задачах и не способны учитывать эмпирический опыт, который привносят специалисты-люди в сложные, инновационные задачи. В данной работе мы представляем AutoMind — адаптивный и осведомленный фреймворк для LLM-агентов, который преодолевает эти недостатки благодаря трем ключевым усовершенствованиям: (1) курируемая база экспертных знаний, которая закрепляет агента в области экспертных знаний, (2) алгоритм поиска по дереву с использованием агентских знаний, который стратегически исследует возможные решения, и (3) самоадаптивная стратегия написания кода, которая динамически адаптирует генерацию кода к сложности задачи. Оценки на двух автоматизированных бенчмарках для науки о данных демонстрируют, что AutoMind обеспечивает превосходную производительность по сравнению с современными базовыми методами. Дополнительные анализы подтверждают благоприятную эффективность, производительность и качество решений, подчеркивая AutoMind как эффективный и надежный шаг к полностью автоматизированной науке о данных.

English

Large Language Model (LLM) agents have shown great potential in addressing real-world data science problems. LLM-driven data science agents promise to automate the entire machine learning pipeline, yet their real-world effectiveness remains limited. Existing frameworks depend on rigid, pre-defined workflows and inflexible coding strategies; consequently, they excel only on relatively simple, classical problems and fail to capture the empirical expertise that human practitioners bring to complex, innovative tasks. In this work, we introduce AutoMind, an adaptive, knowledgeable LLM-agent framework that overcomes these deficiencies through three key advances: (1) a curated expert knowledge base that grounds the agent in domain expert knowledge, (2) an agentic knowledgeable tree search algorithm that strategically explores possible solutions, and (3) a self-adaptive coding strategy that dynamically tailors code generation to task complexity. Evaluations on two automated data science benchmarks demonstrate that AutoMind delivers superior performance versus state-of-the-art baselines. Additional analyses confirm favorable effectiveness, efficiency, and qualitative solution quality, highlighting AutoMind as an efficient and robust step toward fully automated data science.