Эволюционные стратегии в масштабе: тонкая настройка больших языковых моделей за пределами обучения с подкреплением

Evolution Strategies at Scale: LLM Fine-Tuning Beyond Reinforcement Learning

September 29, 2025

Авторы: Xin Qiu, Yulu Gan, Conor F. Hayes, Qiyao Liang, Elliot Meyerson, Babak Hodjat, Risto Miikkulainen

cs.AI

Аннотация

Тонкая настройка предварительно обученных больших языковых моделей (LLM) для решения конкретных задач является важным этапом в процессе внедрения ИИ. Обучение с подкреплением (RL) считается наиболее заметным методом тонкой настройки, способствовавшим созданию многих современных LLM. В то же время эволюционные стратегии (ES), которые когда-то демонстрировали сопоставимую с RL производительность на моделях с несколькими миллионами параметров, были недооценены из-за скептического восприятия их масштабируемости на более крупные модели. В данной работе мы представляем первый успешный опыт масштабирования ES для тонкой настройки всех параметров LLM, демонстрируя удивительный факт, что ES может эффективно работать с миллиардами параметров и превосходить существующие методы RL в нескольких аспектах, включая эффективность использования данных, устойчивость к долгосрочным вознаграждениям, совместимость с различными базовыми LLM, меньшую склонность к "взлому вознаграждений" и более стабильную производительность в разных запусках. Таким образом, этот подход открывает новое направление в тонкой настройке LLM, выходящее за рамки возможностей современных RL-техник. Исходные коды доступны по адресу: https://github.com/VsonicV/es-fine-tuning-paper.

English

Fine-tuning pre-trained large language models (LLMs) for down-stream tasks is a critical step in the AI deployment pipeline. Reinforcement learning (RL) is arguably the most prominent fine-tuning method, contributing to the birth of many state-of-the-art LLMs. In contrast, evolution strategies (ES), which once showed comparable performance to RL on models with a few million parameters, was neglected due to the pessimistic perception of its scalability to larger models. In this work, we report the first successful attempt to scale up ES for fine-tuning the full parameters of LLMs, showing the surprising fact that ES can search efficiently over billions of parameters and outperform existing RL fine-tuning methods in multiple respects, including sample efficiency, tolerance to long-horizon rewards, robustness to different base LLMs, less tendency to reward hacking, and more stable performance across runs. It therefore serves as a basis to unlock a new direction in LLM fine-tuning beyond what current RL techniques provide. The source codes are provided at: https://github.com/VsonicV/es-fine-tuning-paper.