Modelos de Lenguaje de Autorecompensa Basados en Procesos

Process-based Self-Rewarding Language Models

March 5, 2025

Autores: Shimao Zhang, Xiao Liu, Xin Zhang, Junxiao Liu, Zheheng Luo, Shujian Huang, Yeyun Gong

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala han demostrado un rendimiento excepcional en diversas tareas posteriores y se han aplicado ampliamente en múltiples escenarios. Los datos de preferencia anotados por humanos se utilizan para el entrenamiento con el fin de mejorar aún más el rendimiento de los LLMs, lo cual está limitado por el límite superior del desempeño humano. Por ello, se ha propuesto el método de Autorecompensa, donde los LLMs generan datos de entrenamiento recompensando sus propias salidas. Sin embargo, el paradigma existente de autorecompensa no es efectivo en escenarios de razonamiento matemático e incluso puede llevar a una disminución en el rendimiento. En este trabajo, proponemos la canalización de Autorecompensa Basada en Procesos para modelos de lenguaje, la cual introduce razonamiento de pensamiento prolongado, evaluación paso a paso mediante LLM-como-Juez y optimización de preferencias paso a paso dentro del paradigma de autorecompensa. Nuestro nuevo paradigma mejora exitosamente el rendimiento de los LLMs en múltiples benchmarks de razonamiento matemático a través de la Autorecompensa Basada en Procesos iterativa, demostrando el inmenso potencial de la autorecompensa para lograr un razonamiento en LLMs que podría superar las capacidades humanas.

English

Large Language Models have demonstrated outstanding performance across various downstream tasks and have been widely applied in multiple scenarios. Human-annotated preference data is used for training to further improve LLMs' performance, which is constrained by the upper limit of human performance. Therefore, Self-Rewarding method has been proposed, where LLMs generate training data by rewarding their own outputs. However, the existing self-rewarding paradigm is not effective in mathematical reasoning scenarios and may even lead to a decline in performance. In this work, we propose the Process-based Self-Rewarding pipeline for language models, which introduces long-thought reasoning, step-wise LLM-as-a-Judge, and step-wise preference optimization within the self-rewarding paradigm. Our new paradigm successfully enhances the performance of LLMs on multiple mathematical reasoning benchmarks through iterative Process-based Self-Rewarding, demonstrating the immense potential of self-rewarding to achieve LLM reasoning that may surpass human capabilities.