Reflexionar, Reintentar, Recompensar: Mejora Autónoma de Modelos de Lenguaje mediante Aprendizaje por Refuerzo

Reflect, Retry, Reward: Self-Improving LLMs via Reinforcement Learning

May 30, 2025

Autores: Shelly Bensal, Umar Jamil, Christopher Bryant, Melisa Russak, Kiran Kamble, Dmytro Mozolevskyi, Muayad Ali, Waseem AlShikh

cs.AI

Resumen

Exploramos un método para mejorar el rendimiento de los modelos de lenguaje de gran escala mediante la autorreflexión y el aprendizaje por refuerzo. Al incentivar al modelo a generar mejores autorreflexiones cuando responde incorrectamente, demostramos que la capacidad del modelo para resolver tareas complejas y verificables puede mejorarse incluso cuando la generación de datos sintéticos no es factible y solo se dispone de retroalimentación binaria. Nuestro marco de trabajo opera en dos etapas: primero, al fallar en una tarea dada, el modelo genera un comentario autorreflexivo que analiza su intento previo; segundo, se le da al modelo otro intento en la tarea con la autorreflexión en contexto. Si el intento posterior tiene éxito, se recompensan los tokens generados durante la fase de autorreflexión. Nuestros resultados experimentales muestran mejoras sustanciales en el rendimiento en una variedad de arquitecturas de modelos, con mejoras de hasta el 34.7% en la escritura de ecuaciones matemáticas y del 18.1% en la llamada de funciones. Notablemente, los modelos más pequeños ajustados (de 1.5 mil millones a 7 mil millones de parámetros) superan a modelos de la misma familia que son 10 veces más grandes. Por lo tanto, nuestro paradigma novedoso es una vía emocionante hacia modelos de lenguaje más útiles y confiables que pueden automejorarse en tareas desafiantes con retroalimentación externa limitada.

English

We explore a method for improving the performance of large language models through self-reflection and reinforcement learning. By incentivizing the model to generate better self-reflections when it answers incorrectly, we demonstrate that a model's ability to solve complex, verifiable tasks can be enhanced even when generating synthetic data is infeasible and only binary feedback is available. Our framework operates in two stages: first, upon failing a given task, the model generates a self-reflective commentary analyzing its previous attempt; second, the model is given another attempt at the task with the self-reflection in context. If the subsequent attempt succeeds, the tokens generated during the self-reflection phase are rewarded. Our experimental results show substantial performance gains across a variety of model architectures, as high as 34.7% improvement at math equation writing and 18.1% improvement at function calling. Notably, smaller fine-tuned models (1.5 billion to 7 billion parameters) outperform models in the same family that are 10 times larger. Our novel paradigm is thus an exciting pathway to more useful and reliable language models that can self-improve on challenging tasks with limited external feedback.