SPC: Entwicklung eines Self-Play-Kritikers durch adversariale Spiele für das Reasoning von LLMs

SPC: Evolving Self-Play Critic via Adversarial Games for LLM Reasoning

April 27, 2025

Autoren: Jiaqi Chen, Bang Zhang, Ruotian Ma, Peisong Wang, Xiaodan Liang, Zhaopeng Tu, Xiaolong Li, Kwan-Yee K. Wong

cs.AI

Zusammenfassung

Die Bewertung der schrittweisen Zuverlässigkeit von Reasoning-Prozessen großer Sprachmodelle (LLMs), wie beispielsweise Chain-of-Thought, bleibt aufgrund der Schwierigkeit und der Kosten für die Beschaffung hochwertiger schrittweiser Supervision eine Herausforderung. In diesem Artikel stellen wir Self-Play Critic (SPC) vor, einen neuartigen Ansatz, bei dem ein Kritiker-Modell seine Fähigkeit zur Bewertung von Reasoning-Schritten durch adversarische Selbstspielspiele entwickelt, wodurch die Notwendigkeit manueller schrittweiser Annotation entfällt. SPC beinhaltet das Feinabstimmen zweier Kopien eines Basismodells, die zwei Rollen übernehmen: ein „hinterlistiger Generator“, der absichtlich fehlerhafte Schritte erzeugt, die schwer zu erkennen sein sollen, und ein „Kritiker“, der die Korrektheit der Reasoning-Schritte analysiert. Diese beiden Modelle treten in ein adversarisches Spiel ein, bei dem der Generator versucht, den Kritiker zu täuschen, während das Kritiker-Modell bestrebt ist, die Fehler des Generators zu identifizieren. Mithilfe von Verstärkungslernen basierend auf den Spielergebnissen verbessern sich die Modelle iterativ; der Gewinner jeder Konfrontation erhält eine positive Belohnung und der Verlierer eine negative, was eine kontinuierliche Selbstevolution vorantreibt. Experimente auf drei Reasoning-Prozess-Benchmarks (ProcessBench, PRM800K, DeltaBench) zeigen, dass unser SPC seine Fehlererkennungsfähigkeiten schrittweise verbessert (z. B. steigt die Genauigkeit auf ProcessBench von 70,8 % auf 77,7 %) und starke Baselines, einschließlich des destillierten R1-Modells, übertrifft. Darüber hinaus verbessert die Anwendung von SPC zur Steuerung der Testzeit-Suche verschiedener LLMs deren mathematische Reasoning-Leistung auf MATH500 und AIME2024 signifikant und übertrifft dabei state-of-the-art Prozess-Belohnungsmodelle.

English

Evaluating the step-by-step reliability of large language model (LLM) reasoning, such as Chain-of-Thought, remains challenging due to the difficulty and cost of obtaining high-quality step-level supervision. In this paper, we introduce Self-Play Critic (SPC), a novel approach where a critic model evolves its ability to assess reasoning steps through adversarial self-play games, eliminating the need for manual step-level annotation. SPC involves fine-tuning two copies of a base model to play two roles, namely a "sneaky generator" that deliberately produces erroneous steps designed to be difficult to detect, and a "critic" that analyzes the correctness of reasoning steps. These two models engage in an adversarial game in which the generator aims to fool the critic, while the critic model seeks to identify the generator's errors. Using reinforcement learning based on the game outcomes, the models iteratively improve; the winner of each confrontation receives a positive reward and the loser receives a negative reward, driving continuous self-evolution. Experiments on three reasoning process benchmarks (ProcessBench, PRM800K, DeltaBench) demonstrate that our SPC progressively enhances its error detection capabilities (e.g., accuracy increases from 70.8% to 77.7% on ProcessBench) and surpasses strong baselines, including distilled R1 model. Furthermore, applying SPC to guide the test-time search of diverse LLMs significantly improves their mathematical reasoning performance on MATH500 and AIME2024, outperforming state-of-the-art process reward models.