MLEvolve : un cadre auto-évolutif pour la découverte automatisée d'algorithmes d'apprentissage automatique

Résumé

Les agents de grands modèles de langage (LLM) sont de plus en plus utilisés pour des tâches à long horizon telles que la découverte scientifique et l'ingénierie de l'apprentissage automatique (MLE), où l'auto-évolution soutenue devient une capacité clé. Cependant, les agents MLE existants souffrent d'une isolation des informations entre branches, d'une recherche sans mémoire et d'un manque de contrôle hiérarchique, ce qui entrave l'optimisation à long horizon. Nous présentons MLEvolve, un framework multi-agents auto-évolutif basé sur LLM pour la découverte de bout en bout d'algorithmes d'apprentissage automatique. En étendant la recherche arborescente au MCGS progressif, MLEvolve permet un flux d'informations entre branches via des arêtes de référence basées sur un graphe et fait progressivement passer la recherche d'une exploration large à une exploitation ciblée grâce à un planning progressif inspiré de l'entropie. Pour permettre à l'agent d'évoluer avec l'expérience accumulée, nous introduisons la Mémoire Rétrospective, qui combine une base de connaissances de domaine à froid avec une mémoire globale dynamique pour la récupération et la réutilisation d'expériences spécifiques à une tâche. Pour une itération stable à long horizon, nous dissocions en outre la planification stratégique de la génération de code avec des modes de codage adaptatifs. L'évaluation sur MLE-Bench montre que MLEvolve atteint des performances de pointe sur plusieurs dimensions, notamment le taux de médailles moyen et le taux de soumissions valides sous un budget de 12 heures (la moitié du temps d'exécution standard). De plus, MLEvolve surpasse également les méthodes spécialisées de découverte d'algorithmes, dont AlphaEvolve, dans les tâches d'optimisation d'algorithmes mathématiques, démontrant une forte généralisation inter-domaines. Notre code est disponible sur https://github.com/InternScience/MLEvolve.

English

Large language model (LLM) agents are increasingly applied to long-horizon tasks such as scientific discovery and machine learning engineering (MLE), where sustained self-evolution becomes a key capability. However, existing MLE agents suffer from inter-branch information isolation, memoryless search, and lack of hierarchical control, which together hinder long-horizon optimization. We present MLEvolve, an LLM-based self-evolving multi-agent framework for end-to-end machine learning algorithm discovery. By extending tree search to Progressive MCGS, MLEvolve enables cross-branch information flow through graph-based reference edges and gradually shifts the search from broad exploration to focused exploitation with an entropy-inspired progressive schedule. To allow the agent to evolve with accumulated experience, we introduce Retrospective Memory, which combines a cold-start domain knowledge base with a dynamic global memory for task-specific experience retrieval and reuse. For stable long-horizon iteration, we further decouple strategic planning from code generation with adaptive coding modes. Evaluation on MLE-Bench shows that MLEvolve achieves state-of-the-art performance across multiple dimensions including average medal rate and valid submission rate under a 12-hour budget (half the standard runtime). Moreover, MLEvolve also outperforms specialized algorithm discovery methods including AlphaEvolve on mathematical algorithm optimization tasks, demonstrating strong cross-domain generalization. Our code is available at https://github.com/InternScience/MLEvolve.