MLEvolve: Een zelf-evoluerend raamwerk voor geautomatiseerde ontdekking van machine learning-algoritmen

Samenvatting

Large language model (LLM)-agenten worden steeds vaker toegepast voor langetermijn taken zoals wetenschappelijke ontdekkingen en machine learning engineering (MLE), waarbij aanhoudende zelfevolutie een cruciale eigenschap wordt. Bestaande MLE-agenten lijden echter onder informatie-isolatie tussen takken, geheugenloos zoeken en een gebrek aan hiërarchische controle, wat gezamenlijk de optimalisatie op lange termijn belemmert. Wij presenteren MLEvolve, een op LLM gebaseerd zelf-evolverend multi-agent raamwerk voor end-to-end ontdekking van machine learning algoritmen. Door boomzoeken uit te breiden naar Progressieve MCGS, maakt MLEvolve informatie-uitwisseling tussen takken mogelijk via grafiekgebaseerde referentieranden en verschuift het geleidelijk het zoeken van brede exploratie naar gerichte exploitatie met een entropie-geïnspireerd progressief schema. Om de agent in staat te stellen te evolueren met opgebouwde ervaring, introduceren we Retrospectief Geheugen, dat een koude-start domeinkennisbank combineert met een dynamisch globaal geheugen voor taakspecifieke ervaringsopvraging en -hergebruik. Voor stabiele langetermijn iteratie ontkoppelen we verder strategische planning van codegeneratie met adaptieve codeermodi. Evaluatie op MLE-Bench toont aan dat MLEvolve state-of-the-art prestaties levert op meerdere dimensies, waaronder gemiddeld medaillepercentage en geldig inzendingspercentage binnen een budget van 12 uur (de helft van de standaard looptijd). Bovendien overtreft MLEvolve gespecialiseerde algoritme-ontdekkingsmethoden, waaronder AlphaEvolve, op wiskundige algoritme optimalisatietaken, wat sterke cross-domein generalisatie aantoont. Onze code is beschikbaar op https://github.com/InternScience/MLEvolve.

English

Large language model (LLM) agents are increasingly applied to long-horizon tasks such as scientific discovery and machine learning engineering (MLE), where sustained self-evolution becomes a key capability. However, existing MLE agents suffer from inter-branch information isolation, memoryless search, and lack of hierarchical control, which together hinder long-horizon optimization. We present MLEvolve, an LLM-based self-evolving multi-agent framework for end-to-end machine learning algorithm discovery. By extending tree search to Progressive MCGS, MLEvolve enables cross-branch information flow through graph-based reference edges and gradually shifts the search from broad exploration to focused exploitation with an entropy-inspired progressive schedule. To allow the agent to evolve with accumulated experience, we introduce Retrospective Memory, which combines a cold-start domain knowledge base with a dynamic global memory for task-specific experience retrieval and reuse. For stable long-horizon iteration, we further decouple strategic planning from code generation with adaptive coding modes. Evaluation on MLE-Bench shows that MLEvolve achieves state-of-the-art performance across multiple dimensions including average medal rate and valid submission rate under a 12-hour budget (half the standard runtime). Moreover, MLEvolve also outperforms specialized algorithm discovery methods including AlphaEvolve on mathematical algorithm optimization tasks, demonstrating strong cross-domain generalization. Our code is available at https://github.com/InternScience/MLEvolve.