MLEvolve: Un marco autoevolutivo para el descubrimiento automatizado de algoritmos de aprendizaje automático

Resumen

Los agentes de modelos de lenguaje grandes (LLM) se aplican cada vez más a tareas de horizonte largo, como el descubrimiento científico y la ingeniería de aprendizaje automático (MLE), donde la autoevolución sostenida se convierte en una capacidad clave. Sin embargo, los agentes MLE existentes sufren de aislamiento de información entre ramas, búsqueda sin memoria y falta de control jerárquico, lo que en conjunto dificulta la optimización a largo plazo. Presentamos MLEvolve, un marco multiagente autoevolutivo basado en LLM para el descubrimiento de algoritmos de aprendizaje automático de extremo a extremo. Al extender la búsqueda en árbol a Progressive MCGS, MLEvolve permite el flujo de información entre ramas a través de aristas de referencia basadas en grafos y desplaza gradualmente la búsqueda desde una exploración amplia hacia una explotación enfocada mediante un programa progresivo inspirado en entropía. Para permitir que el agente evolucione con la experiencia acumulada, introducimos la Memoria Retrospectiva, que combina una base de conocimiento de dominio de inicio en frío con una memoria global dinámica para la recuperación y reutilización de experiencia específica de la tarea. Para una iteración estable a largo plazo, desacoplamos la planificación estratégica de la generación de código con modos de codificación adaptativos. La evaluación en MLE-Bench muestra que MLEvolve logra un rendimiento de vanguardia en múltiples dimensiones, incluyendo la tasa promedio de medallas y la tasa de envíos válidos bajo un presupuesto de 12 horas (la mitad del tiempo de ejecución estándar). Además, MLEvolve también supera a métodos especializados de descubrimiento de algoritmos, incluido AlphaEvolve, en tareas de optimización de algoritmos matemáticos, lo que demuestra una fuerte generalización entre dominios. Nuestro código está disponible en https://github.com/InternScience/MLEvolve.

English

Large language model (LLM) agents are increasingly applied to long-horizon tasks such as scientific discovery and machine learning engineering (MLE), where sustained self-evolution becomes a key capability. However, existing MLE agents suffer from inter-branch information isolation, memoryless search, and lack of hierarchical control, which together hinder long-horizon optimization. We present MLEvolve, an LLM-based self-evolving multi-agent framework for end-to-end machine learning algorithm discovery. By extending tree search to Progressive MCGS, MLEvolve enables cross-branch information flow through graph-based reference edges and gradually shifts the search from broad exploration to focused exploitation with an entropy-inspired progressive schedule. To allow the agent to evolve with accumulated experience, we introduce Retrospective Memory, which combines a cold-start domain knowledge base with a dynamic global memory for task-specific experience retrieval and reuse. For stable long-horizon iteration, we further decouple strategic planning from code generation with adaptive coding modes. Evaluation on MLE-Bench shows that MLEvolve achieves state-of-the-art performance across multiple dimensions including average medal rate and valid submission rate under a 12-hour budget (half the standard runtime). Moreover, MLEvolve also outperforms specialized algorithm discovery methods including AlphaEvolve on mathematical algorithm optimization tasks, demonstrating strong cross-domain generalization. Our code is available at https://github.com/InternScience/MLEvolve.