AIDE : Exploration Pilotée par l'IA dans l'Espace du Code

AIDE: AI-Driven Exploration in the Space of Code

February 18, 2025

Auteurs: Zhengyao Jiang, Dominik Schmidt, Dhruv Srikanth, Dixing Xu, Ian Kaplan, Deniss Jacenko, Yuxiang Wu

cs.AI

Résumé

L'apprentissage automatique, fondement de l'intelligence artificielle moderne, a propulsé des innovations qui ont transformé le monde de manière fondamentale. Pourtant, derrière ces avancées se cache un processus complexe et souvent fastidieux, nécessitant des itérations et expérimentations intensives en termes de main-d'œuvre et de puissance de calcul. Les ingénieurs et scientifiques développant des modèles d'apprentissage automatique consacrent une grande partie de leur temps à des tâches d'essai-erreur plutôt qu'à la conceptualisation de solutions innovantes ou d'hypothèses de recherche. Pour relever ce défi, nous présentons AI-Driven Exploration (AIDE), un agent d'ingénierie en apprentissage automatique alimenté par des modèles de langage de grande taille (LLM). AIDE aborde l'ingénierie en apprentissage automatique comme un problème d'optimisation de code et formule l'essai-erreur comme une recherche arborescente dans l'espace des solutions potentielles. En réutilisant et en affinant stratégiquement les solutions prometteuses, AIDE échange efficacement des ressources computationnelles contre une performance accrue, atteignant des résultats de pointe sur plusieurs benchmarks d'ingénierie en apprentissage automatique, y compris nos évaluations Kaggle, OpenAI MLE-Bench et METRs RE-Bench.

English

Machine learning, the foundation of modern artificial intelligence, has driven innovations that have fundamentally transformed the world. Yet, behind advancements lies a complex and often tedious process requiring labor and compute intensive iteration and experimentation. Engineers and scientists developing machine learning models spend much of their time on trial-and-error tasks instead of conceptualizing innovative solutions or research hypotheses. To address this challenge, we introduce AI-Driven Exploration (AIDE), a machine learning engineering agent powered by large language models (LLMs). AIDE frames machine learning engineering as a code optimization problem, and formulates trial-and-error as a tree search in the space of potential solutions. By strategically reusing and refining promising solutions, AIDE effectively trades computational resources for enhanced performance, achieving state-of-the-art results on multiple machine learning engineering benchmarks, including our Kaggle evaluations, OpenAI MLE-Bench and METRs RE-Bench.