O Que Torna um LLM um Bom Otimizador? Uma Análise de Trajetória da Busca Evolucionária Guiada por LLM
What Makes an LLM a Good Optimizer? A Trajectory Analysis of LLM-Guided Evolutionary Search
April 21, 2026
Autores: Xinhao Zhang, Xi Chen, François Portet, Maxime Peyrard
cs.AI
Resumo
Trabalhos recentes demonstraram o potencial da orquestração de grandes modelos de linguagem (LLMs) em sistemas de otimização evolutiva e agentiva. No entanto, os mecanismos que impulsionam esses ganhos de otimização permanecem pouco compreendidos. Neste trabalho, apresentamos um estudo em larga escala da busca evolutiva guiada por LLMs, coletando trajetórias de otimização para 15 modelos diferentes em 8 tarefas. Embora a capacidade de resolução de problemas em modo *zero-shot* se correlacione com os resultados finais de otimização, ela explica apenas parte da variância: modelos com capacidade inicial semelhante frequentemente induzem trajetórias e resultados de busca drasticamente diferentes. Ao analisar essas trajetórias, descobrimos que LLMs otimizadores fortes comportam-se como refinadores locais, produzindo melhorias incrementais frequentes enquanto localizam progressivamente a busca no espaço semântico. Por outro lado, otimizadores mais fracos exibem grande deriva semântica, com avanços esporádicos seguidos de estagnação. Notavelmente, várias medidas de novidade da solução não preveem o desempenho final; a novidade é benéfica apenas quando a busca permanece suficientemente localizada em torno de regiões de alto desempenho do espaço de soluções. Nossos resultados destacam a importância da análise de trajetória para compreender e melhorar sistemas de otimização baseados em LLMs e fornecem insights acionáveis para seu projeto e treinamento.
English
Recent work has demonstrated the promise of orchestrating large language models (LLMs) within evolutionary and agentic optimization systems. However, the mechanisms driving these optimization gains remain poorly understood. In this work, we present a large-scale study of LLM-guided evolutionary search, collecting optimization trajectories for 15 LLMs across 8 tasks. Although zero-shot problem-solving ability correlates with final optimization outcomes, it explains only part of the variance: models with similar initial capability often induce dramatically different search trajectories and outcomes. By analyzing these trajectories, we find that strong LLM optimizers behave as local refiners, producing frequent incremental improvements while progressively localizing the search in semantic space. Conversely, weaker optimizers exhibit large semantic drift, with sporadic breakthroughs followed by stagnation. Notably, various measures of solution novelty do not predict final performance; novelty is beneficial only when the search remains sufficiently localized around high-performing regions of the solution space. Our results highlight the importance of trajectory analysis for understanding and improving LLM-based optimization systems and provide actionable insights for their design and training.