Réfléchir, Réessayer, Récompenser : Amélioration autonome des LLM via l'apprentissage par renforcement

Reflect, Retry, Reward: Self-Improving LLMs via Reinforcement Learning

May 30, 2025

Auteurs: Shelly Bensal, Umar Jamil, Christopher Bryant, Melisa Russak, Kiran Kamble, Dmytro Mozolevskyi, Muayad Ali, Waseem AlShikh

cs.AI

Résumé

Nous explorons une méthode pour améliorer les performances des grands modèles de langage grâce à l'auto-réflexion et à l'apprentissage par renforcement. En incitant le modèle à générer de meilleures auto-réflexions lorsqu'il répond incorrectement, nous démontrons que la capacité d'un modèle à résoudre des tâches complexes et vérifiables peut être améliorée, même lorsque la génération de données synthétiques est impossible et que seul un retour binaire est disponible. Notre cadre opère en deux étapes : premièrement, après avoir échoué à une tâche donnée, le modèle génère un commentaire auto-réflexif analysant sa tentative précédente ; deuxièmement, le modèle reçoit une nouvelle tentative pour la tâche avec l'auto-réflexion en contexte. Si la tentative suivante réussit, les tokens générés pendant la phase d'auto-réflexion sont récompensés. Nos résultats expérimentaux montrent des gains de performance substantiels à travers une variété d'architectures de modèles, avec des améliorations allant jusqu'à 34,7 % pour l'écriture d'équations mathématiques et 18,1 % pour l'appel de fonctions. Notamment, les modèles plus petits et affinés (1,5 à 7 milliards de paramètres) surpassent les modèles de la même famille qui sont 10 fois plus grands. Notre nouveau paradigme constitue ainsi une voie prometteuse vers des modèles de langage plus utiles et fiables, capables de s'auto-améliorer sur des tâches difficiles avec un retour externe limité.

English

We explore a method for improving the performance of large language models through self-reflection and reinforcement learning. By incentivizing the model to generate better self-reflections when it answers incorrectly, we demonstrate that a model's ability to solve complex, verifiable tasks can be enhanced even when generating synthetic data is infeasible and only binary feedback is available. Our framework operates in two stages: first, upon failing a given task, the model generates a self-reflective commentary analyzing its previous attempt; second, the model is given another attempt at the task with the self-reflection in context. If the subsequent attempt succeeds, the tokens generated during the self-reflection phase are rewarded. Our experimental results show substantial performance gains across a variety of model architectures, as high as 34.7% improvement at math equation writing and 18.1% improvement at function calling. Notably, smaller fine-tuned models (1.5 billion to 7 billion parameters) outperform models in the same family that are 10 times larger. Our novel paradigm is thus an exciting pathway to more useful and reliable language models that can self-improve on challenging tasks with limited external feedback.