¿Qué hace que un LLM sea un buen optimizador? Un análisis de trayectoria de la búsqueda evolutiva guiada por LLM

What Makes an LLM a Good Optimizer? A Trajectory Analysis of LLM-Guided Evolutionary Search

April 21, 2026

Autores: Xinhao Zhang, Xi Chen, François Portet, Maxime Peyrard

cs.AI

Resumen

Trabajos recientes han demostrado el potencial de orquestar modelos de lenguaje grandes (LLM) dentro de sistemas de optimización evolutiva y agentiva. Sin embargo, los mecanismos que impulsan estas mejoras en la optimización siguen siendo poco comprendidos. En este trabajo, presentamos un estudio a gran escala de la búsqueda evolutiva guiada por LLM, recopilando trayectorias de optimización para 15 LLM en 8 tareas. Aunque la capacidad de resolución de problemas *zero-shot* se correlaciona con los resultados finales de optimización, solo explica una parte de la varianza: modelos con capacidades iniciales similares a menudo inducen trayectorias de búsqueda y resultados radicalmente diferentes. Al analizar estas trayectorias, encontramos que los LLM optimizadores potentes se comportan como refinadores locales, produciendo mejoras incrementales frecuentes mientras localizan progresivamente la búsqueda en el espacio semántico. Por el contrario, los optimizadores más débiles exhiben una gran deriva semántica, con avances esporádicos seguidos de estancamiento. Cabe destacar que varias medidas de la novedad de las soluciones no predicen el rendimiento final; la novedad es beneficiosa solo cuando la búsqueda permanece suficientemente localizada alrededor de regiones de alto rendimiento del espacio de soluciones. Nuestros resultados destacan la importancia del análisis de trayectorias para comprender y mejorar los sistemas de optimización basados en LLM y proporcionan ideas prácticas para su diseño y entrenamiento.

English

Recent work has demonstrated the promise of orchestrating large language models (LLMs) within evolutionary and agentic optimization systems. However, the mechanisms driving these optimization gains remain poorly understood. In this work, we present a large-scale study of LLM-guided evolutionary search, collecting optimization trajectories for 15 LLMs across 8 tasks. Although zero-shot problem-solving ability correlates with final optimization outcomes, it explains only part of the variance: models with similar initial capability often induce dramatically different search trajectories and outcomes. By analyzing these trajectories, we find that strong LLM optimizers behave as local refiners, producing frequent incremental improvements while progressively localizing the search in semantic space. Conversely, weaker optimizers exhibit large semantic drift, with sporadic breakthroughs followed by stagnation. Notably, various measures of solution novelty do not predict final performance; novelty is beneficial only when the search remains sufficiently localized around high-performing regions of the solution space. Our results highlight the importance of trajectory analysis for understanding and improving LLM-based optimization systems and provide actionable insights for their design and training.