Qu'est-ce qui fait d'un LLM un bon optimiseur ? Analyse de la trajectoire de la recherche évolutive guidée par les LLM

What Makes an LLM a Good Optimizer? A Trajectory Analysis of LLM-Guided Evolutionary Search

April 21, 2026

Auteurs: Xinhao Zhang, Xi Chen, François Portet, Maxime Peyrard

cs.AI

Résumé

Des travaux récents ont démontré le potentiel de l'orchestration de grands modèles de langage (LLM) au sein de systèmes d'optimisation évolutionnistes et agentiques. Cependant, les mécanismes sous-jacents à ces gains d'optimisation restent mal compris. Dans cette étude, nous présentons une analyse à grande échelle de la recherche évolutionniste guidée par des LLM, en collectant les trajectoires d'optimisation pour 15 modèles différents sur 8 tâches. Bien que la capacité de résolution de problèmes en zero-shot soit corrélée aux résultats finaux d'optimisation, elle n'explique qu'une partie de la variance : des modèles aux capacités initiales similaires produisent souvent des trajectoires de recherche et des résultats radicalement différents. En analysant ces trajectoires, nous constatons que les LLM optimiseurs performants agissent comme des affineurs locaux, produisant des améliorations incrémentales fréquentes tout en localisant progressivement la recherche dans l'espace sémantique. À l'inverse, les optimiseurs moins performants présentent une forte dérive sémantique, avec des percées sporadiques suivies de stagnation. Fait notable, diverses mesures de la nouveauté des solutions ne prédisent pas la performance finale ; la nouveauté n'est bénéfique que lorsque la recherche reste suffisamment localisée autour des régions performantes de l'espace des solutions. Nos résultats soulignent l'importance de l'analyse des trajectoires pour comprendre et améliorer les systèmes d'optimisation basés sur les LLM et fournissent des indications concrètes pour leur conception et leur entraînement.

English

Recent work has demonstrated the promise of orchestrating large language models (LLMs) within evolutionary and agentic optimization systems. However, the mechanisms driving these optimization gains remain poorly understood. In this work, we present a large-scale study of LLM-guided evolutionary search, collecting optimization trajectories for 15 LLMs across 8 tasks. Although zero-shot problem-solving ability correlates with final optimization outcomes, it explains only part of the variance: models with similar initial capability often induce dramatically different search trajectories and outcomes. By analyzing these trajectories, we find that strong LLM optimizers behave as local refiners, producing frequent incremental improvements while progressively localizing the search in semantic space. Conversely, weaker optimizers exhibit large semantic drift, with sporadic breakthroughs followed by stagnation. Notably, various measures of solution novelty do not predict final performance; novelty is beneficial only when the search remains sufficiently localized around high-performing regions of the solution space. Our results highlight the importance of trajectory analysis for understanding and improving LLM-based optimization systems and provide actionable insights for their design and training.