AIDE: Exploración Guiada por IA en el Espacio del Código

AIDE: AI-Driven Exploration in the Space of Code

February 18, 2025

Autores: Zhengyao Jiang, Dominik Schmidt, Dhruv Srikanth, Dixing Xu, Ian Kaplan, Deniss Jacenko, Yuxiang Wu

cs.AI

Resumen

El aprendizaje automático, base de la inteligencia artificial moderna, ha impulsado innovaciones que han transformado fundamentalmente el mundo. Sin embargo, detrás de estos avances yace un proceso complejo y a menudo tedioso que requiere iteración y experimentación intensivas en mano de obra y recursos computacionales. Los ingenieros y científicos que desarrollan modelos de aprendizaje automático dedican gran parte de su tiempo a tareas de prueba y error en lugar de conceptualizar soluciones innovadoras o hipótesis de investigación. Para abordar este desafío, presentamos AI-Driven Exploration (AIDE), un agente de ingeniería de aprendizaje automático impulsado por modelos de lenguaje de gran escala (LLMs). AIDE enmarca la ingeniería de aprendizaje automático como un problema de optimización de código y formula la prueba y error como una búsqueda en árbol en el espacio de soluciones potenciales. Al reutilizar y refinar estratégicamente soluciones prometedoras, AIDE intercambia eficazmente recursos computacionales por un rendimiento mejorado, logrando resultados de vanguardia en múltiples puntos de referencia de ingeniería de aprendizaje automático, incluyendo nuestras evaluaciones en Kaggle, OpenAI MLE-Bench y METRs RE-Bench.

English

Machine learning, the foundation of modern artificial intelligence, has driven innovations that have fundamentally transformed the world. Yet, behind advancements lies a complex and often tedious process requiring labor and compute intensive iteration and experimentation. Engineers and scientists developing machine learning models spend much of their time on trial-and-error tasks instead of conceptualizing innovative solutions or research hypotheses. To address this challenge, we introduce AI-Driven Exploration (AIDE), a machine learning engineering agent powered by large language models (LLMs). AIDE frames machine learning engineering as a code optimization problem, and formulates trial-and-error as a tree search in the space of potential solutions. By strategically reusing and refining promising solutions, AIDE effectively trades computational resources for enhanced performance, achieving state-of-the-art results on multiple machine learning engineering benchmarks, including our Kaggle evaluations, OpenAI MLE-Bench and METRs RE-Bench.