Wat Maakt een LLM een Goede Optimizer? Een Trajectorieanalyse van LLM-Gestuurd Evolutionair Zoeken
What Makes an LLM a Good Optimizer? A Trajectory Analysis of LLM-Guided Evolutionary Search
April 21, 2026
Auteurs: Xinhao Zhang, Xi Chen, François Portet, Maxime Peyrard
cs.AI
Samenvatting
Recent onderzoek heeft de belofte aangetoond van het orkestreren van grote taalmodellen (LLM's) binnen evolutionaire en agent-gebaseerde optimalisatiesystemen. De mechanismen die deze optimalisatiewinsten sturen, blijven echter slecht begrepen. In dit werk presenteren we een grootschalige studie naar LLM-gestuurd evolutionair zoeken, waarbij we optimalisatietrajecten verzamelen voor 15 LLM's verspreid over 8 taken. Hoewel zero-shot probleemoplossend vermogen correleert met uiteindelijke optimalisatieresultaten, verklaart het slechts een deel van de variantie: modellen met vergelijkbare initiële capaciteit vertonen vaak drastisch verschillende zoektrajecten en uitkomsten. Door analyse van deze trajecten constateren we dat sterke LLM-optimalisatoren functioneren als lokale verfijnaars, waarbij ze frequente incrementele verbeteringen produceren en de zoektocht geleidelijk localiseren in de semantische ruimte. Daarentegen vertonen zwakkere optimalisatoren grote semantische drift, met sporadische doorbraken gevolgd door stagnatie. Opmerkelijk genoeg voorspellen diverse maten van oplossingsnieuwigheid de uiteindelijke prestatie niet; nieuwigheid is alleen nuttig wanneer de zoektocht voldoende gelokaliseerd blijft rond hoogpresterende regio's van de oplossingsruimte. Onze resultaten benadrukken het belang van trajectanalyse voor het begrijpen en verbeteren van LLM-gebaseerde optimalisatiesystemen en bieden praktische inzichten voor hun ontwerp en training.
English
Recent work has demonstrated the promise of orchestrating large language models (LLMs) within evolutionary and agentic optimization systems. However, the mechanisms driving these optimization gains remain poorly understood. In this work, we present a large-scale study of LLM-guided evolutionary search, collecting optimization trajectories for 15 LLMs across 8 tasks. Although zero-shot problem-solving ability correlates with final optimization outcomes, it explains only part of the variance: models with similar initial capability often induce dramatically different search trajectories and outcomes. By analyzing these trajectories, we find that strong LLM optimizers behave as local refiners, producing frequent incremental improvements while progressively localizing the search in semantic space. Conversely, weaker optimizers exhibit large semantic drift, with sporadic breakthroughs followed by stagnation. Notably, various measures of solution novelty do not predict final performance; novelty is beneficial only when the search remains sufficiently localized around high-performing regions of the solution space. Our results highlight the importance of trajectory analysis for understanding and improving LLM-based optimization systems and provide actionable insights for their design and training.