Что делает языковую модель хорошим оптимизатором? Анализ траектории эволюционного поиска под управлением LLM

What Makes an LLM a Good Optimizer? A Trajectory Analysis of LLM-Guided Evolutionary Search

April 21, 2026

Авторы: Xinhao Zhang, Xi Chen, François Portet, Maxime Peyrard

cs.AI

Аннотация

Недавние исследования продемонстрировали перспективность использования больших языковых моделей (БЯМ) в эволюционных и агентных системах оптимизации. Однако механизмы, лежащие в основе этих улучшений оптимизации, остаются слабо изученными. В данной работе представлено масштабное исследование эволюционного поиска под управлением БЯМ, в ходе которого собраны траектории оптимизации для 15 моделей на 8 задачах. Хотя способность к решению задач в режиме zero-shot коррелирует с итоговыми результатами оптимизации, она объясняет лишь часть дисперсии: модели со сходной исходной производительностью часто порождают принципиально разные траектории поиска и результаты. Анализируя эти траектории, мы обнаружили, что эффективные БЯМ-оптимизаторы действуют как локальные уточнители, обеспечивая частые постепенные улучшения при одновременной прогрессирующей локализации поиска в семантическом пространстве. Напротив, слабые оптимизаторы демонстрируют значительный семантический дрейф со спорадическими прорывами, за которыми следует стагнация. Примечательно, что различные меры новизны решений не предсказывают итоговую производительность; новизна полезна только тогда, когда поиск остается достаточно локализованным в высокопроизводительных областях пространства решений. Наши результаты подчеркивают важность анализа траекторий для понимания и совершенствования систем оптимизации на основе БЯМ и дают практические рекомендации для их проектирования и обучения.

English

Recent work has demonstrated the promise of orchestrating large language models (LLMs) within evolutionary and agentic optimization systems. However, the mechanisms driving these optimization gains remain poorly understood. In this work, we present a large-scale study of LLM-guided evolutionary search, collecting optimization trajectories for 15 LLMs across 8 tasks. Although zero-shot problem-solving ability correlates with final optimization outcomes, it explains only part of the variance: models with similar initial capability often induce dramatically different search trajectories and outcomes. By analyzing these trajectories, we find that strong LLM optimizers behave as local refiners, producing frequent incremental improvements while progressively localizing the search in semantic space. Conversely, weaker optimizers exhibit large semantic drift, with sporadic breakthroughs followed by stagnation. Notably, various measures of solution novelty do not predict final performance; novelty is beneficial only when the search remains sufficiently localized around high-performing regions of the solution space. Our results highlight the importance of trajectory analysis for understanding and improving LLM-based optimization systems and provide actionable insights for their design and training.