Reflecteren, Opnieuw Proberen, Belonen: Zelfverbeterende Taalmodellen via Reinforcement Learning

Reflect, Retry, Reward: Self-Improving LLMs via Reinforcement Learning

May 30, 2025

Auteurs: Shelly Bensal, Umar Jamil, Christopher Bryant, Melisa Russak, Kiran Kamble, Dmytro Mozolevskyi, Muayad Ali, Waseem AlShikh

cs.AI

Samenvatting

We onderzoeken een methode om de prestaties van grote taalmodellen te verbeteren door middel van zelfreflectie en reinforcement learning. Door het model aan te moedigen betere zelfreflecties te genereren wanneer het fout antwoordt, tonen we aan dat het vermogen van een model om complexe, verifieerbare taken op te lossen kan worden verbeterd, zelfs wanneer het genereren van synthetische data niet haalbaar is en alleen binaire feedback beschikbaar is. Ons framework werkt in twee fasen: eerst, na het falen van een bepaalde taak, genereert het model een zelfreflectieve analyse van zijn vorige poging; vervolgens krijgt het model een nieuwe kans om de taak uit te voeren met de zelfreflectie in de context. Als de daaropvolgende poging slaagt, worden de tokens die tijdens de zelfreflectiefase zijn gegenereerd beloond. Onze experimentele resultaten laten aanzienlijke prestatieverbeteringen zien over een verscheidenheid aan modelarchitecturen, met verbeteringen tot wel 34,7% bij het schrijven van wiskundige vergelijkingen en 18,1% bij het aanroepen van functies. Opmerkelijk is dat kleinere fine-tuned modellen (1,5 miljard tot 7 miljard parameters) modellen uit dezelfde familie die 10 keer groter zijn, overtreffen. Ons nieuwe paradigma is dus een veelbelovende weg naar nuttigere en betrouwbaardere taalmodellen die zichzelf kunnen verbeteren bij uitdagende taken met beperkte externe feedback.

English

We explore a method for improving the performance of large language models through self-reflection and reinforcement learning. By incentivizing the model to generate better self-reflections when it answers incorrectly, we demonstrate that a model's ability to solve complex, verifiable tasks can be enhanced even when generating synthetic data is infeasible and only binary feedback is available. Our framework operates in two stages: first, upon failing a given task, the model generates a self-reflective commentary analyzing its previous attempt; second, the model is given another attempt at the task with the self-reflection in context. If the subsequent attempt succeeds, the tokens generated during the self-reflection phase are rewarded. Our experimental results show substantial performance gains across a variety of model architectures, as high as 34.7% improvement at math equation writing and 18.1% improvement at function calling. Notably, smaller fine-tuned models (1.5 billion to 7 billion parameters) outperform models in the same family that are 10 times larger. Our novel paradigm is thus an exciting pathway to more useful and reliable language models that can self-improve on challenging tasks with limited external feedback.