Modelos de Linguagem de Autorrecompensa Baseados em Processo

Process-based Self-Rewarding Language Models

March 5, 2025

Autores: Shimao Zhang, Xiao Liu, Xin Zhang, Junxiao Liu, Zheheng Luo, Shujian Huang, Yeyun Gong

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado desempenho excepcional em diversas tarefas subsequentes e têm sido amplamente aplicados em múltiplos cenários. Dados de preferência anotados por humanos são utilizados para treinamento, a fim de aprimorar ainda mais o desempenho dos LLMs, o que é limitado pelo limite superior do desempenho humano. Portanto, o método de Autorecompensa foi proposto, no qual os LLMs geram dados de treinamento recompensando suas próprias saídas. No entanto, o paradigma existente de autorecompensa não é eficaz em cenários de raciocínio matemático e pode até levar a uma queda no desempenho. Neste trabalho, propomos o pipeline de Autorecompensa Baseada em Processos para modelos de linguagem, que introduz raciocínio de longo pensamento, avaliação passo a passo por LLM como juiz e otimização de preferência passo a passo dentro do paradigma de autorecompensa. Nosso novo paradigma melhora com sucesso o desempenho dos LLMs em múltiplos benchmarks de raciocínio matemático por meio da Autorecompensa Baseada em Processos iterativa, demonstrando o imenso potencial da autorecompensa para alcançar um raciocínio em LLMs que pode superar as capacidades humanas.

English

Large Language Models have demonstrated outstanding performance across various downstream tasks and have been widely applied in multiple scenarios. Human-annotated preference data is used for training to further improve LLMs' performance, which is constrained by the upper limit of human performance. Therefore, Self-Rewarding method has been proposed, where LLMs generate training data by rewarding their own outputs. However, the existing self-rewarding paradigm is not effective in mathematical reasoning scenarios and may even lead to a decline in performance. In this work, we propose the Process-based Self-Rewarding pipeline for language models, which introduces long-thought reasoning, step-wise LLM-as-a-Judge, and step-wise preference optimization within the self-rewarding paradigm. Our new paradigm successfully enhances the performance of LLMs on multiple mathematical reasoning benchmarks through iterative Process-based Self-Rewarding, demonstrating the immense potential of self-rewarding to achieve LLM reasoning that may surpass human capabilities.