Modèles de langage à auto-récompense basés sur des processus

Process-based Self-Rewarding Language Models

March 5, 2025

Auteurs: Shimao Zhang, Xiao Liu, Xin Zhang, Junxiao Liu, Zheheng Luo, Shujian Huang, Yeyun Gong

cs.AI

Résumé

Les modèles de langage de grande taille ont démontré des performances exceptionnelles sur diverses tâches en aval et ont été largement appliqués dans de multiples scénarios. Les données de préférence annotées par des humains sont utilisées pour l'entraînement afin d'améliorer encore les performances des LLM, ce qui est limité par le plafond des capacités humaines. Par conséquent, la méthode d'auto-récompense a été proposée, où les LLM génèrent des données d'entraînement en récompensant leurs propres sorties. Cependant, le paradigme actuel d'auto-récompense n'est pas efficace dans les scénarios de raisonnement mathématique et peut même entraîner une baisse de performance. Dans ce travail, nous proposons le pipeline d'auto-récompense basé sur le processus pour les modèles de langage, qui introduit un raisonnement approfondi, une évaluation pas à pas par le LLM en tant que juge, et une optimisation des préférences étape par étape dans le paradigme d'auto-récompense. Notre nouveau paradigme améliore avec succès les performances des LLM sur plusieurs benchmarks de raisonnement mathématique grâce à une auto-récompense itérative basée sur le processus, démontrant le potentiel immense de l'auto-récompense pour atteindre un raisonnement des LLM qui pourrait surpasser les capacités humaines.

English

Large Language Models have demonstrated outstanding performance across various downstream tasks and have been widely applied in multiple scenarios. Human-annotated preference data is used for training to further improve LLMs' performance, which is constrained by the upper limit of human performance. Therefore, Self-Rewarding method has been proposed, where LLMs generate training data by rewarding their own outputs. However, the existing self-rewarding paradigm is not effective in mathematical reasoning scenarios and may even lead to a decline in performance. In this work, we propose the Process-based Self-Rewarding pipeline for language models, which introduces long-thought reasoning, step-wise LLM-as-a-Judge, and step-wise preference optimization within the self-rewarding paradigm. Our new paradigm successfully enhances the performance of LLMs on multiple mathematical reasoning benchmarks through iterative Process-based Self-Rewarding, demonstrating the immense potential of self-rewarding to achieve LLM reasoning that may surpass human capabilities.