大規模進化戦略：強化学習を超えた大規模言語モデルのファインチューニング

要旨

事前学習済みの大規模言語モデル（LLM）を下流タスク向けにファインチューニングすることは、AIデプロイメントパイプラインにおける重要なステップです。強化学習（RL）は、おそらく最も注目されているファインチューニング手法であり、多くの最先端LLMの誕生に貢献してきました。一方、進化戦略（ES）は、かつて数百万パラメータのモデルにおいてRLと同等の性能を示したものの、より大規模なモデルへのスケーラビリティに対する悲観的な見方から、これまで軽視されてきました。本研究では、LLMの全パラメータをファインチューニングするためにESをスケールアップする初めての成功例を報告し、ESが数十億のパラメータを効率的に探索できるという驚くべき事実を示します。さらに、ESは既存のRLファインチューニング手法を複数の点で上回り、サンプル効率、長期的な報酬に対する耐性、異なるベースLLMに対するロバスト性、報酬ハッキングへの傾向の低さ、そして実行間の安定した性能を実現しました。これにより、現在のRL技術を超える新たなLLMファインチューニングの方向性を開拓する基盤が築かれます。ソースコードは以下で提供されています：https://github.com/VsonicV/es-fine-tuning-paper。

English

Fine-tuning pre-trained large language models (LLMs) for down-stream tasks is a critical step in the AI deployment pipeline. Reinforcement learning (RL) is arguably the most prominent fine-tuning method, contributing to the birth of many state-of-the-art LLMs. In contrast, evolution strategies (ES), which once showed comparable performance to RL on models with a few million parameters, was neglected due to the pessimistic perception of its scalability to larger models. In this work, we report the first successful attempt to scale up ES for fine-tuning the full parameters of LLMs, showing the surprising fact that ES can search efficiently over billions of parameters and outperform existing RL fine-tuning methods in multiple respects, including sample efficiency, tolerance to long-horizon rewards, robustness to different base LLMs, less tendency to reward hacking, and more stable performance across runs. It therefore serves as a basis to unlock a new direction in LLM fine-tuning beyond what current RL techniques provide. The source codes are provided at: https://github.com/VsonicV/es-fine-tuning-paper.

大規模進化戦略：強化学習を超えた大規模言語モデルのファインチューニング

Evolution Strategies at Scale: LLM Fine-Tuning Beyond Reinforcement Learning

要旨

Support