大規模言語モデルはなぜ優れた最適化ツールとなるのか？ LLM誘導進化探索の軌跡分析

What Makes an LLM a Good Optimizer? A Trajectory Analysis of LLM-Guided Evolutionary Search

April 21, 2026

著者: Xinhao Zhang, Xi Chen, François Portet, Maxime Peyrard

cs.AI

要旨

近年の研究では、大規模言語モデル（LLM）を進化的・主体的な最適化システム内で編成することの可能性が示されてきた。しかし、これらの最適化の成果を駆動するメカニズムは未だ十分に解明されていない。本研究では、LLM誘導型進化探索に関する大規模調査を実施し、8つのタスクにおいて15種類のLLMの最適化軌跡を収集した。ゼロショット問題解決能力は最終的な最適化結果と相関するものの、それは分散の一部を説明するに過ぎない。すなわち、初期能力が類似するモデルであっても、劇的に異なる探索軌跡と結果を生み出すことが多い。これらの軌跡を分析した結果、強力なLLM最適化器は局所的精緻化器として振る舞い、頻繁な漸進的改善を行いながら、意味空間内で探索を次第に局所化することが明らかとなった。逆に、より弱い最適化器は大きな意味的ドリフトを示し、散発的なブレークスルーの後に停滞する傾向があった。特筆すべきは、解の新規性に関する様々な指標は最終性能を予測せず、新規性が有益に働くのは、解空間の高性能領域周辺で探索が十分に局所化されている場合に限られることである。我々の結果は、LLMベースの最適化システムを理解し改善する上で軌跡分析が重要であることを示し、その設計と訓練に対する実践的な知見を提供する。

English

Recent work has demonstrated the promise of orchestrating large language models (LLMs) within evolutionary and agentic optimization systems. However, the mechanisms driving these optimization gains remain poorly understood. In this work, we present a large-scale study of LLM-guided evolutionary search, collecting optimization trajectories for 15 LLMs across 8 tasks. Although zero-shot problem-solving ability correlates with final optimization outcomes, it explains only part of the variance: models with similar initial capability often induce dramatically different search trajectories and outcomes. By analyzing these trajectories, we find that strong LLM optimizers behave as local refiners, producing frequent incremental improvements while progressively localizing the search in semantic space. Conversely, weaker optimizers exhibit large semantic drift, with sporadic breakthroughs followed by stagnation. Notably, various measures of solution novelty do not predict final performance; novelty is beneficial only when the search remains sufficiently localized around high-performing regions of the solution space. Our results highlight the importance of trajectory analysis for understanding and improving LLM-based optimization systems and provide actionable insights for their design and training.