Cosa Rende un LLM un Buon Ottimizzatore? Un'Analisi della Traiettoria della Ricerca Evolutiva Guidata da LLM

What Makes an LLM a Good Optimizer? A Trajectory Analysis of LLM-Guided Evolutionary Search

April 21, 2026

Autori: Xinhao Zhang, Xi Chen, François Portet, Maxime Peyrard

cs.AI

Abstract

Recenti studi hanno dimostrato il potenziale dell'orchestrazione di grandi modelli linguistici (LLM) all'interno di sistemi di ottimizzazione evolutiva e agent-based. Tuttavia, i meccanismi alla base di questi miglioramenti nell'ottimizzazione rimangono poco compresi. In questo lavoro, presentiamo uno studio su larga scala della ricerca evolutiva guidata da LLM, raccogliendo le traiettorie di ottimizzazione per 15 modelli diversi attraverso 8 compiti. Sebbene la capacità di risoluzione dei problemi in modalità zero-shot sia correlata con gli esiti finali dell'ottimizzazione, essa spiega solo una parte della varianza: modelli con capacità iniziali simili spesso generano traiettorie di ricerca ed esiti radicalmente diversi. Analizzando queste traiettorie, scopriamo che gli LLM più efficaci si comportano come affinatori locali, producendo frequenti miglioramenti incrementali localizzando progressivamente la ricerca nello spazio semantico. Al contrario, ottimizzatori più deboli mostrano un'ampia deriva semantica, con sporadiche svolte seguite da stagnazione. È interessante notare che varie misure della novità delle soluzioni non predicono le prestazioni finali; la novità è benefica solo quando la ricerca rimane sufficientemente localizzata attorno a regioni ad alte prestazioni dello spazio delle soluzioni. I nostri risultati evidenziano l'importanza dell'analisi delle traiettorie per comprendere e migliorare i sistemi di ottimizzazione basati su LLM e forniscono indicazioni pratiche per la loro progettazione e addestramento.

English

Recent work has demonstrated the promise of orchestrating large language models (LLMs) within evolutionary and agentic optimization systems. However, the mechanisms driving these optimization gains remain poorly understood. In this work, we present a large-scale study of LLM-guided evolutionary search, collecting optimization trajectories for 15 LLMs across 8 tasks. Although zero-shot problem-solving ability correlates with final optimization outcomes, it explains only part of the variance: models with similar initial capability often induce dramatically different search trajectories and outcomes. By analyzing these trajectories, we find that strong LLM optimizers behave as local refiners, producing frequent incremental improvements while progressively localizing the search in semantic space. Conversely, weaker optimizers exhibit large semantic drift, with sporadic breakthroughs followed by stagnation. Notably, various measures of solution novelty do not predict final performance; novelty is beneficial only when the search remains sufficiently localized around high-performing regions of the solution space. Our results highlight the importance of trajectory analysis for understanding and improving LLM-based optimization systems and provide actionable insights for their design and training.