Estratégias de Evolução em Escala: Ajuste Fino de LLMs Além do Aprendizado por Reforço
Evolution Strategies at Scale: LLM Fine-Tuning Beyond Reinforcement Learning
September 29, 2025
Autores: Xin Qiu, Yulu Gan, Conor F. Hayes, Qiyao Liang, Elliot Meyerson, Babak Hodjat, Risto Miikkulainen
cs.AI
Resumo
O ajuste fino de modelos de linguagem pré-treinados de grande escala (LLMs) para tarefas específicas é uma etapa crucial no pipeline de implantação de IA. O aprendizado por reforço (RL) é, sem dúvida, o método de ajuste fino mais proeminente, contribuindo para o surgimento de muitos LLMs de última geração. Em contraste, as estratégias evolutivas (ES), que já demonstraram desempenho comparável ao RL em modelos com alguns milhões de parâmetros, foram negligenciadas devido à percepção pessimista de sua escalabilidade para modelos maiores. Neste trabalho, relatamos a primeira tentativa bem-sucedida de escalar as ES para o ajuste fino de todos os parâmetros de LLMs, mostrando o fato surpreendente de que as ES podem buscar eficientemente em bilhões de parâmetros e superar os métodos de ajuste fino baseados em RL em múltiplos aspectos, incluindo eficiência amostral, tolerância a recompensas de longo prazo, robustez a diferentes LLMs base, menor tendência à manipulação de recompensas e desempenho mais estável entre execuções. Portanto, isso serve como base para desbloquear uma nova direção no ajuste fino de LLMs além do que as técnicas atuais de RL oferecem. Os códigos-fonte são fornecidos em: https://github.com/VsonicV/es-fine-tuning-paper.
English
Fine-tuning pre-trained large language models (LLMs) for down-stream tasks is
a critical step in the AI deployment pipeline. Reinforcement learning (RL) is
arguably the most prominent fine-tuning method, contributing to the birth of
many state-of-the-art LLMs. In contrast, evolution strategies (ES), which once
showed comparable performance to RL on models with a few million parameters,
was neglected due to the pessimistic perception of its scalability to larger
models. In this work, we report the first successful attempt to scale up ES for
fine-tuning the full parameters of LLMs, showing the surprising fact that ES
can search efficiently over billions of parameters and outperform existing RL
fine-tuning methods in multiple respects, including sample efficiency,
tolerance to long-horizon rewards, robustness to different base LLMs, less
tendency to reward hacking, and more stable performance across runs. It
therefore serves as a basis to unlock a new direction in LLM fine-tuning beyond
what current RL techniques provide. The source codes are provided at:
https://github.com/VsonicV/es-fine-tuning-paper.