Remédier à la saturation des performances pour le RL des LLM via un contrôle précis de la courbe d'entropie

Résumé

L'apprentissage par renforcement (RL) a permis de doter les grands modèles de langage (LLMs) de capacités de raisonnement complexes. Cependant, la plupart des algorithmes de RL souffrent d'une saturation des performances, empêchant des gains continus à mesure que l'entraînement par RL passe à l'échelle. Ce problème peut être caractérisé par l'effondrement de l'entropie, un indicateur clé de l'exploration en RL. Les tentatives existantes se concentrent sur la prévention de l'effondrement de l'entropie par régularisation ou clipping. Toutefois, les courbes d'entropie qui en résultent présentent souvent une instabilité à long terme, ce qui entrave les gains de performance. Dans cet article, nous introduisons Entrocraft, une approche simple d'échantillonnage par rejet qui réalise un planning d'entropie personnalisé par l'utilisateur en biaisant les distributions d'avantage. Entrocraft ne nécessite aucune régularisation objective et est agnostique vis-à-vis de l'estimateur d'avantage. Théoriquement, nous relions le changement d'entropie par étape à la distribution d'avantage sous des hypothèses minimales. Cela explique le comportement des méthodes RL et de préservation de l'entropie existantes. Entrocraft permet également une étude systématique des plannings d'entropie, révélant qu'un recuit linéaire, commençant haut et décroissant vers une cible légèrement plus basse, obtient les meilleures performances. Empiriquement, Entrocraft remédie à la saturation des performances, améliorant significativement la généralisation, la diversité des sorties et l'entraînement à long terme. Il permet à un modèle de 4B de surpasser une référence de 8B, soutient l'amélioration jusqu'à 4 fois plus longtemps avant d'atteindre un plateau, et augmente pass@K de 50 % par rapport à la référence.

English

Reinforcement learning (RL) has enabled complex reasoning abilities in large language models (LLMs). However, most RL algorithms suffer from performance saturation, preventing continued gains as RL training scales. This problem can be characterized by the collapse of entropy, a key diagnostic for exploration in RL. Existing attempts focus on preventing entropy collapse through regularization or clipping. However, their resulting entropy curves often exhibit instability in the long term, which hinders performance gains. In this paper, we introduce Entrocraft, a simple rejection-sampling approach that realizes user-customized entropy schedule by biasing the advantage distributions. Entrocraft requires no objective regularization and is advantage-estimator-agnostic. Theoretically, we relate per-step entropy change to the advantage distribution under minimal assumptions. This explains the behavior of existing RL and entropy-preserving methods. Entrocraft also enables a systematic study of entropy schedules, which reveals that linear annealing, which starts high and decays to a slightly lower target, performs best. Empirically, Entrocraft addresses performance saturation, significantly improving generalization, output diversity, and long-term training. It enables a 4B model to outperform an 8B baseline, sustains improvement for up to 4x longer before plateauing, and raises pass@K by 50% over the baseline.