LLM推論における進化戦略の理解：GRPOよりも広い推論カバレッジ

要旨

進化戦略（ES）は近年、LLM推論のためのメモリ効率的な事後学習パラダイムとして登場している。しかし、ESの最適化挙動は未解明のままであり、主流の事後学習パラダイム（例：グループ相対方策最適化（GRPO））と比較した場合の優位性の範囲を定義することは困難である。本論文は、ESのダイナミクスとメカニズムを体系的に調査することにより、まずESがGRPOに対して性能上の優位性を持つことを明らかにし、理論的および実証的に、ESがより広範な推論カバレッジをもたらし、それによって事前学習済みLLMの推論能力をより良く活用できることを示す。理論的には、ES集団全体にわたる検証器投影Jensen-Shannon多様性が、より高いPass@K性能に寄与することを示す。実証的には、エントロピー崩壊を示すGRPOとは異なり、ESはPass@1を改善しつつ、GRPOよりも高いPass@Kを達成する。さらに、Pass@1におけるGRPOの強みとPass@KにおけるESの利得を組み合わせた逐次GRPO-ES訓練戦略を開発する。第二に、モデル全体のかなりのパラメータドリフトにもかかわらず、ESのタスク性能の向上は、より大きい更新量を持つ更新のスパースな部分集合のみに起因することが分かる。この機能的スパース性は、大きなパラメータの移動が必ずしも広範な機能変化を意味する必要がないことを示唆しており、ホールドアウト評価はさらに、それが必ずしも破滅的忘却につながらないことを示している。最後に、ハイパーパラメータ設計がESの有効性にどのように影響するかを調査し、より大きなLLMではESがより小さな集団サイズを必要とすることを示す。これらの発見は、ESを、GRPOのより効果の低いメモリ効率的な代替手段ではなく、明確に区別される推論の事後学習パラダイムとして位置づけるものである。

English

Evolution Strategies (ES) have recently emerged as a memory-efficient post-training paradigm for LLM reasoning. However, the optimization behavior of ES remains understudied, making it hard to define its advantage scope compared to mainstream post-training paradigms (e.g., Group Relative Policy Optimization (GRPO)). By systematically investigating ES dynamics and mechanisms, this paper first identifies a performance advantage of ES over GRPO, theoretically and empirically showing that ES can lead to broader reasoning coverage, thereby better exploiting the reasoning capabilities of pretrained LLMs. Theoretically, we show that verifier-projected Jensen-Shannon diversity across the ES population is helpful to higher Pass@K performances. Empirically, unlike GRPO, which exhibits entropy collapse, ES improves Pass@1 while attaining higher Pass@K than GRPO. We further develop a sequential GRPO-ES training strategy that combines GRPO's strength in Pass@1 with ES's gains in Pass@K. Second, we find that despite substantial whole-model parameter drift, the task-performance gains of ES are only contributed to a sparse subset of larger-magnitude updates. This functional sparsity suggests that large parameter movement need not imply widespread functional change, and held-out evaluations further show that it does not necessarily lead to catastrophic forgetting. Finally, we study how hyperparameter design affects the effectiveness of ES, demonstrating that ES requires a smaller population size in a larger LLM. These findings position ES as a distinct reasoning post-training paradigm rather than a less effective, memory-efficient alternative to GRPO.