MLEvolve: Ein selbstentwickelndes Framework zur automatisierten Entdeckung von Algorithmen des maschinellen Lernens

Zusammenfassung

Große Sprachmodell (LLM)-Agenten werden zunehmend für langfristige Aufgaben wie wissenschaftliche Entdeckungen und Machine Learning Engineering (MLE) eingesetzt, bei denen eine nachhaltige Selbstevolution eine Schlüsselfähigkeit darstellt. Allerdings leiden bestehende MLE-Agenten unter Informationsisolation zwischen Zweigen, gedächtnisloser Suche und fehlender hierarchischer Steuerung, was gemeinsam die langfristige Optimierung behindert. Wir stellen MLEvolve vor, ein LLM-basiertes, selbst-evolvierendes Multi-Agenten-Framework für die End-to-End-Entdeckung von Machine-Learning-Algorithmen. Durch die Erweiterung der Baumsuche auf Progressive MCGS ermöglicht MLEvolve einen Informationsfluss zwischen Zweigen über graphemische Referenzkanten und verlagert die Suche schrittweise von breiter Exploration zu fokussierter Ausbeutung mittels eines entropie-inspirierten progressiven Zeitplans. Damit der Agent mit gesammelter Erfahrung evolvieren kann, führen wir das Retrospektive Gedächtnis ein, das eine Kaltstart-Domänenwissensbasis mit einem dynamischen globalen Gedächtnis für taskspezifischen Erfahrungsabruf und -wiederverwendung kombiniert. Für eine stabile langfristige Iteration entkoppeln wir zudem die strategische Planung von der Codegenerierung mittels adaptiver Kodierungsmodi. Die Evaluierung auf MLE-Bench zeigt, dass MLEvolve in mehreren Dimensionen den Stand der Technik erreicht, darunter die durchschnittliche Medaillenrate und die Rate gültiger Einreichungen innerhalb eines 12-Stunden-Budgets (der Hälfte der Standardlaufzeit). Darüber hinaus übertrifft MLEvolve auch spezialisierte Algorithmenentdeckungsmethoden wie AlphaEvolve bei mathematischen Algorithmenoptimierungsaufgaben und demonstriert damit eine starke domänenübergreifende Generalisierung. Unser Code ist verfügbar unter https://github.com/InternScience/MLEvolve.

English

Large language model (LLM) agents are increasingly applied to long-horizon tasks such as scientific discovery and machine learning engineering (MLE), where sustained self-evolution becomes a key capability. However, existing MLE agents suffer from inter-branch information isolation, memoryless search, and lack of hierarchical control, which together hinder long-horizon optimization. We present MLEvolve, an LLM-based self-evolving multi-agent framework for end-to-end machine learning algorithm discovery. By extending tree search to Progressive MCGS, MLEvolve enables cross-branch information flow through graph-based reference edges and gradually shifts the search from broad exploration to focused exploitation with an entropy-inspired progressive schedule. To allow the agent to evolve with accumulated experience, we introduce Retrospective Memory, which combines a cold-start domain knowledge base with a dynamic global memory for task-specific experience retrieval and reuse. For stable long-horizon iteration, we further decouple strategic planning from code generation with adaptive coding modes. Evaluation on MLE-Bench shows that MLEvolve achieves state-of-the-art performance across multiple dimensions including average medal rate and valid submission rate under a 12-hour budget (half the standard runtime). Moreover, MLEvolve also outperforms specialized algorithm discovery methods including AlphaEvolve on mathematical algorithm optimization tasks, demonstrating strong cross-domain generalization. Our code is available at https://github.com/InternScience/MLEvolve.