Reflektieren, Wiederholen, Belohnen: Selbstverbessernde LLMs durch Reinforcement Learning

Reflect, Retry, Reward: Self-Improving LLMs via Reinforcement Learning

May 30, 2025

Autoren: Shelly Bensal, Umar Jamil, Christopher Bryant, Melisa Russak, Kiran Kamble, Dmytro Mozolevskyi, Muayad Ali, Waseem AlShikh

cs.AI

Zusammenfassung

Wir untersuchen eine Methode zur Verbesserung der Leistung großer Sprachmodelle durch Selbstreflexion und bestärkendes Lernen. Indem wir das Modell dazu anregen, bessere Selbstreflexionen zu generieren, wenn es eine Frage falsch beantwortet, zeigen wir, dass die Fähigkeit eines Modells, komplexe, überprüfbare Aufgaben zu lösen, selbst dann verbessert werden kann, wenn die Erzeugung synthetischer Daten nicht möglich ist und nur binäres Feedback verfügbar ist. Unser Framework arbeitet in zwei Phasen: Zuerst generiert das Modell, nachdem es eine gegebene Aufgabe nicht gelöst hat, einen selbstreflexiven Kommentar, der den vorherigen Versuch analysiert; anschließend erhält das Modell einen weiteren Versuch, die Aufgabe zu lösen, wobei die Selbstreflexion im Kontext berücksichtigt wird. Wenn der nachfolgende Versuch erfolgreich ist, werden die während der Selbstreflexionsphase generierten Tokens belohnt. Unsere experimentellen Ergebnisse zeigen erhebliche Leistungssteigerungen über eine Vielzahl von Modellarchitekturen hinweg, mit Verbesserungen von bis zu 34,7 % beim Schreiben mathematischer Gleichungen und 18,1 % beim Aufrufen von Funktionen. Bemerkenswerterweise übertreffen kleinere, feinabgestimmte Modelle (1,5 bis 7 Milliarden Parameter) Modelle derselben Familie, die zehnmal größer sind. Unser neuartiges Paradigma ist somit ein vielversprechender Weg zu nützlicheren und zuverlässigeren Sprachmodellen, die sich selbst bei anspruchsvollen Aufgaben mit begrenztem externem Feedback verbessern können.

English

We explore a method for improving the performance of large language models through self-reflection and reinforcement learning. By incentivizing the model to generate better self-reflections when it answers incorrectly, we demonstrate that a model's ability to solve complex, verifiable tasks can be enhanced even when generating synthetic data is infeasible and only binary feedback is available. Our framework operates in two stages: first, upon failing a given task, the model generates a self-reflective commentary analyzing its previous attempt; second, the model is given another attempt at the task with the self-reflection in context. If the subsequent attempt succeeds, the tokens generated during the self-reflection phase are rewarded. Our experimental results show substantial performance gains across a variety of model architectures, as high as 34.7% improvement at math equation writing and 18.1% improvement at function calling. Notably, smaller fine-tuned models (1.5 billion to 7 billion parameters) outperform models in the same family that are 10 times larger. Our novel paradigm is thus an exciting pathway to more useful and reliable language models that can self-improve on challenging tasks with limited external feedback.