MLEvolve: самоэволюционирующий фреймворк для автоматизированного открытия алгоритмов машинного обучения

Аннотация

Агенты на основе больших языковых моделей (LLM) все чаще применяются для решения задач с долгосрочным горизонтом, таких как научные открытия и разработка машинного обучения (MLE), где ключевой способностью становится устойчивая самоэволюция. Однако существующие MLE-агенты страдают от изоляции информации между ветвями, поиска без памяти и отсутствия иерархического управления, что в совокупности препятствует долгосрочной оптимизации. Мы представляем MLEvolve — самоэволюционирующий многомодульный фреймворк на основе LLM для сквозного открытия алгоритмов машинного обучения. Расширяя древовидный поиск до прогрессивного MCGS, MLEvolve обеспечивает межветвевой поток информации с помощью графовых опорных ребер и постепенно переводит поиск от широкого исследования к целенаправленной эксплуатации, используя прогрессивный график, вдохновленный энтропией. Чтобы позволить агенту эволюционировать с накопленным опытом, мы вводим ретроспективную память, которая объединяет базу знаний предметной области с холодным стартом и динамическую глобальную память для извлечения и повторного использования опыта, специфичного для задачи. Для стабильной долгосрочной итерации мы дополнительно разделяем стратегическое планирование и генерацию кода с помощью адаптивных режимов кодирования. Оценка на MLE-Bench показывает, что MLEvolve достигает передовой производительности по нескольким параметрам, включая средний показатель медалей и долю успешных отправок при бюджете в 12 часов (половина стандартного времени выполнения). Более того, MLEvolve превосходит специализированные методы открытия алгоритмов, включая AlphaEvolve, в задачах оптимизации математических алгоритмов, демонстрируя сильную междоменную обобщаемость. Наш код доступен по адресу https://github.com/InternScience/MLEvolve.

English

Large language model (LLM) agents are increasingly applied to long-horizon tasks such as scientific discovery and machine learning engineering (MLE), where sustained self-evolution becomes a key capability. However, existing MLE agents suffer from inter-branch information isolation, memoryless search, and lack of hierarchical control, which together hinder long-horizon optimization. We present MLEvolve, an LLM-based self-evolving multi-agent framework for end-to-end machine learning algorithm discovery. By extending tree search to Progressive MCGS, MLEvolve enables cross-branch information flow through graph-based reference edges and gradually shifts the search from broad exploration to focused exploitation with an entropy-inspired progressive schedule. To allow the agent to evolve with accumulated experience, we introduce Retrospective Memory, which combines a cold-start domain knowledge base with a dynamic global memory for task-specific experience retrieval and reuse. For stable long-horizon iteration, we further decouple strategic planning from code generation with adaptive coding modes. Evaluation on MLE-Bench shows that MLEvolve achieves state-of-the-art performance across multiple dimensions including average medal rate and valid submission rate under a 12-hour budget (half the standard runtime). Moreover, MLEvolve also outperforms specialized algorithm discovery methods including AlphaEvolve on mathematical algorithm optimization tasks, demonstrating strong cross-domain generalization. Our code is available at https://github.com/InternScience/MLEvolve.