Was macht ein LLM zu einem guten Optimierer? Eine Trajektorienanalyse der LLM-gesteuerten evolutionären Suche

What Makes an LLM a Good Optimizer? A Trajectory Analysis of LLM-Guided Evolutionary Search

April 21, 2026

Autoren: Xinhao Zhang, Xi Chen, François Portet, Maxime Peyrard

cs.AI

Zusammenfassung

Aktuelle Arbeiten haben das Potenzial aufgezeigt, große Sprachmodelle (LLMs) in evolutionäre und agentenbasierte Optimierungssysteme zu integrieren. Die Mechanismen, die diesen Optimierungsgewinn antreiben, sind jedoch nach wie vor kaum verstanden. In dieser Arbeit präsentieren wir eine groß angelegte Studie zur LLM-gesteuerten evolutionären Suche, in der wir Optimierungspfade für 15 LLMs über 8 Aufgaben hinweg erfassen. Obwohl die Fähigkeit zur Null-Shot-Problemlösung mit den endgültigen Optimierungsergebnissen korreliert, erklärt sie nur einen Teil der Varianz: Modelle mit ähnlicher Ausgangsfähigkeit erzeugen oft dramatisch unterschiedliche Suchpfade und Ergebnisse. Durch die Analyse dieser Pfade stellen wir fest, dass starke LLM-Optimierer als lokale Verfeinerer agieren, die häufige inkrementelle Verbesserungen produzieren und dabei die Suche progressiv im semantischen Raum eingrenzen. Schwächere Optimierer hingegen zeigen eine starke semantische Drift, mit sporadischen Durchbrüchen gefolgt von Stagnation. Bemerkenswerterweise sagen verschiedene Maße für Lösungsneuheit nicht die Endleistung voraus; Neuheit ist nur dann vorteilhaft, wenn die Suche ausreichend auf hochperformante Regionen des Lösungsraums fokussiert bleibt. Unsere Ergebnisse unterstreichen die Bedeutung der Trajektorienanalyse für das Verständnis und die Verbesserung LLM-basierter Optimierungssysteme und liefern umsetzbare Erkenntnisse für deren Design und Training.

English

Recent work has demonstrated the promise of orchestrating large language models (LLMs) within evolutionary and agentic optimization systems. However, the mechanisms driving these optimization gains remain poorly understood. In this work, we present a large-scale study of LLM-guided evolutionary search, collecting optimization trajectories for 15 LLMs across 8 tasks. Although zero-shot problem-solving ability correlates with final optimization outcomes, it explains only part of the variance: models with similar initial capability often induce dramatically different search trajectories and outcomes. By analyzing these trajectories, we find that strong LLM optimizers behave as local refiners, producing frequent incremental improvements while progressively localizing the search in semantic space. Conversely, weaker optimizers exhibit large semantic drift, with sporadic breakthroughs followed by stagnation. Notably, various measures of solution novelty do not predict final performance; novelty is beneficial only when the search remains sufficiently localized around high-performing regions of the solution space. Our results highlight the importance of trajectory analysis for understanding and improving LLM-based optimization systems and provide actionable insights for their design and training.