Rifletti, Riprova, Premia: Miglioramento Autonomo dei Modelli Linguistici tramite Apprendimento per Rinforzo

Reflect, Retry, Reward: Self-Improving LLMs via Reinforcement Learning

May 30, 2025

Autori: Shelly Bensal, Umar Jamil, Christopher Bryant, Melisa Russak, Kiran Kamble, Dmytro Mozolevskyi, Muayad Ali, Waseem AlShikh

cs.AI

Abstract

Esploriamo un metodo per migliorare le prestazioni dei modelli linguistici di grandi dimensioni attraverso l'autoriflessione e l'apprendimento per rinforzo. Incentivando il modello a generare migliori autoriflessioni quando risponde in modo errato, dimostriamo che la capacità del modello di risolvere compiti complessi e verificabili può essere potenziata anche quando la generazione di dati sintetici non è fattibile e sono disponibili solo feedback binari. Il nostro framework opera in due fasi: prima, dopo aver fallito un determinato compito, il modello genera un commento autoriflessivo che analizza il tentativo precedente; in secondo luogo, al modello viene data un'altra possibilità di affrontare il compito con l'autoriflessione contestualizzata. Se il tentativo successivo ha successo, i token generati durante la fase di autoriflessione vengono premiati. I nostri risultati sperimentali mostrano miglioramenti sostanziali delle prestazioni in una varietà di architetture di modelli, con un miglioramento fino al 34,7% nella scrittura di equazioni matematiche e del 18,1% nella chiamata di funzioni. È degno di nota che modelli più piccoli e fine-tunati (da 1,5 a 7 miliardi di parametri) superino modelli della stessa famiglia che sono 10 volte più grandi. Il nostro paradigma innovativo rappresenta quindi una via entusiasmante verso modelli linguistici più utili e affidabili in grado di auto-migliorarsi su compiti impegnativi con un feedback esterno limitato.

English

We explore a method for improving the performance of large language models through self-reflection and reinforcement learning. By incentivizing the model to generate better self-reflections when it answers incorrectly, we demonstrate that a model's ability to solve complex, verifiable tasks can be enhanced even when generating synthetic data is infeasible and only binary feedback is available. Our framework operates in two stages: first, upon failing a given task, the model generates a self-reflective commentary analyzing its previous attempt; second, the model is given another attempt at the task with the self-reflection in context. If the subsequent attempt succeeds, the tokens generated during the self-reflection phase are rewarded. Our experimental results show substantial performance gains across a variety of model architectures, as high as 34.7% improvement at math equation writing and 18.1% improvement at function calling. Notably, smaller fine-tuned models (1.5 billion to 7 billion parameters) outperform models in the same family that are 10 times larger. Our novel paradigm is thus an exciting pathway to more useful and reliable language models that can self-improve on challenging tasks with limited external feedback.