Prozessbasierte selbstbelohnende Sprachmodelle

Process-based Self-Rewarding Language Models

March 5, 2025

Autoren: Shimao Zhang, Xiao Liu, Xin Zhang, Junxiao Liu, Zheheng Luo, Shujian Huang, Yeyun Gong

cs.AI

Zusammenfassung

Große Sprachmodelle haben in verschiedenen Downstream-Aufgaben herausragende Leistungen gezeigt und werden in zahlreichen Szenarien breit eingesetzt. Menschlich annotierte Präferenzdaten werden für das Training verwendet, um die Leistung von LLMs weiter zu verbessern, was jedoch durch die Obergrenze der menschlichen Leistung begrenzt ist. Daher wurde die Methode des Selbstbelohnens vorgeschlagen, bei der LLMs Trainingsdaten generieren, indem sie ihre eigenen Ausgaben bewerten. Allerdings ist das bestehende Selbstbelohnungsparadigma in mathematischen Denkszenarien nicht effektiv und kann sogar zu einem Leistungsabfall führen. In dieser Arbeit schlagen wir die prozessbasierte Selbstbelohnungspipeline für Sprachmodelle vor, die langfristiges Denken, schrittweise Bewertung durch LLM-as-a-Judge und schrittweise Präferenzoptimierung innerhalb des Selbstbelohnungsparadigmas einführt. Unser neues Paradigma verbessert erfolgreich die Leistung von LLMs in mehreren mathematischen Denkbenchmarks durch iterative prozessbasierte Selbstbelohnung und demonstriert das immense Potenzial der Selbstbelohnung, um LLM-Denken zu erreichen, das menschliche Fähigkeiten übertreffen könnte.

English

Large Language Models have demonstrated outstanding performance across various downstream tasks and have been widely applied in multiple scenarios. Human-annotated preference data is used for training to further improve LLMs' performance, which is constrained by the upper limit of human performance. Therefore, Self-Rewarding method has been proposed, where LLMs generate training data by rewarding their own outputs. However, the existing self-rewarding paradigm is not effective in mathematical reasoning scenarios and may even lead to a decline in performance. In this work, we propose the Process-based Self-Rewarding pipeline for language models, which introduces long-thought reasoning, step-wise LLM-as-a-Judge, and step-wise preference optimization within the self-rewarding paradigm. Our new paradigm successfully enhances the performance of LLMs on multiple mathematical reasoning benchmarks through iterative Process-based Self-Rewarding, demonstrating the immense potential of self-rewarding to achieve LLM reasoning that may surpass human capabilities.