MLEvolve: Um Framework Auto-Evolutivo para Descoberta Automatizada de Algoritmos de Aprendizado de Máquina

Resumo

Agentes de grandes modelos de linguagem (LLM) são cada vez mais aplicados a tarefas de horizonte longo, como descoberta científica e engenharia de aprendizado de máquina (MLE), onde a auto-evolução sustentada se torna uma capacidade-chave. No entanto, os agentes MLE existentes sofrem de isolamento de informações entre ramos, busca sem memória e falta de controle hierárquico, que juntos dificultam a otimização de horizonte longo. Apresentamos o MLEvolve, um framework multiagente auto-evolutivo baseado em LLM para descoberta de algoritmos de aprendizado de máquina ponta a ponta. Ao estender a busca em árvore para o Progressive MCGS, o MLEvolve permite o fluxo de informações entre ramos por meio de arestas de referência baseadas em grafo e gradualmente desloca a busca de exploração ampla para exploração focada com um agendamento progressivo inspirado em entropia. Para permitir que o agente evolua com experiência acumulada, introduzimos a Memória Retrospectiva, que combina uma base de conhecimento de domínio de inicialização a frio com uma memória global dinâmica para recuperação e reutilização de experiência específica da tarefa. Para iteração estável de horizonte longo, desacoplamos ainda o planejamento estratégico da geração de código com modos de codificação adaptativos. A avaliação no MLE-Bench mostra que o MLEvolve alcança desempenho de ponta em múltiplas dimensões, incluindo taxa média de medalhas e taxa de submissões válidas dentro de um orçamento de 12 horas (metade do tempo de execução padrão). Além disso, o MLEvolve também supera métodos especializados de descoberta de algoritmos, incluindo AlphaEvolve, em tarefas de otimização de algoritmos matemáticos, demonstrando forte generalização entre domínios. Nosso código está disponível em https://github.com/InternScience/MLEvolve.

English

Large language model (LLM) agents are increasingly applied to long-horizon tasks such as scientific discovery and machine learning engineering (MLE), where sustained self-evolution becomes a key capability. However, existing MLE agents suffer from inter-branch information isolation, memoryless search, and lack of hierarchical control, which together hinder long-horizon optimization. We present MLEvolve, an LLM-based self-evolving multi-agent framework for end-to-end machine learning algorithm discovery. By extending tree search to Progressive MCGS, MLEvolve enables cross-branch information flow through graph-based reference edges and gradually shifts the search from broad exploration to focused exploitation with an entropy-inspired progressive schedule. To allow the agent to evolve with accumulated experience, we introduce Retrospective Memory, which combines a cold-start domain knowledge base with a dynamic global memory for task-specific experience retrieval and reuse. For stable long-horizon iteration, we further decouple strategic planning from code generation with adaptive coding modes. Evaluation on MLE-Bench shows that MLEvolve achieves state-of-the-art performance across multiple dimensions including average medal rate and valid submission rate under a 12-hour budget (half the standard runtime). Moreover, MLEvolve also outperforms specialized algorithm discovery methods including AlphaEvolve on mathematical algorithm optimization tasks, demonstrating strong cross-domain generalization. Our code is available at https://github.com/InternScience/MLEvolve.