SPC: Zelfspelcriticus evolueren via adversariële spellen voor LLM-redenering

SPC: Evolving Self-Play Critic via Adversarial Games for LLM Reasoning

April 27, 2025

Auteurs: Jiaqi Chen, Bang Zhang, Ruotian Ma, Peisong Wang, Xiaodan Liang, Zhaopeng Tu, Xiaolong Li, Kwan-Yee K. Wong

cs.AI

Samenvatting

Het evalueren van de stap-voor-stap betrouwbaarheid van redeneringen van grote taalmodellen (LLM's), zoals Chain-of-Thought, blijft een uitdaging vanwege de moeilijkheid en kosten van het verkrijgen van hoogwaardige stap-voor-stap supervisie. In dit artikel introduceren we Self-Play Critic (SPC), een nieuwe aanpak waarbij een criticusmodel zijn vermogen om redeneerstappen te beoordelen ontwikkelt via adversariële zelfspel-spellen, waardoor handmatige annotatie op stapniveau overbodig wordt. SPC omvat het finetunen van twee kopieën van een basismodel om twee rollen te spelen, namelijk een "sluwe generator" die opzettelijk foutieve stappen produceert die moeilijk te detecteren zijn, en een "criticus" die de correctheid van redeneerstappen analyseert. Deze twee modellen nemen deel aan een adversariële spel waarin de generator de criticus probeert te misleiden, terwijl het criticusmodel de fouten van de generator probeert te identificeren. Met behulp van reinforcement learning op basis van de spelresultaten verbeteren de modellen iteratief; de winnaar van elke confrontatie ontvangt een positieve beloning en de verliezer ontvangt een negatieve beloning, wat leidt tot continue zelf-evolutie. Experimenten op drie redeneerprocesbenchmarks (ProcessBench, PRM800K, DeltaBench) tonen aan dat onze SPC geleidelijk zijn foutdetectiecapaciteiten verbetert (bijvoorbeeld de nauwkeurigheid stijgt van 70,8% naar 77,7% op ProcessBench) en sterke baseline-modellen overtreft, waaronder het gedistilleerde R1-model. Bovendien verbetert het toepassen van SPC om de testtijdzoektocht van diverse LLM's te begeleiden hun wiskundige redeneerprestaties op MATH500 en AIME2024 aanzienlijk, wat beter presteert dan state-of-the-art procesbeloningsmodellen.

English

Evaluating the step-by-step reliability of large language model (LLM) reasoning, such as Chain-of-Thought, remains challenging due to the difficulty and cost of obtaining high-quality step-level supervision. In this paper, we introduce Self-Play Critic (SPC), a novel approach where a critic model evolves its ability to assess reasoning steps through adversarial self-play games, eliminating the need for manual step-level annotation. SPC involves fine-tuning two copies of a base model to play two roles, namely a "sneaky generator" that deliberately produces erroneous steps designed to be difficult to detect, and a "critic" that analyzes the correctness of reasoning steps. These two models engage in an adversarial game in which the generator aims to fool the critic, while the critic model seeks to identify the generator's errors. Using reinforcement learning based on the game outcomes, the models iteratively improve; the winner of each confrontation receives a positive reward and the loser receives a negative reward, driving continuous self-evolution. Experiments on three reasoning process benchmarks (ProcessBench, PRM800K, DeltaBench) demonstrate that our SPC progressively enhances its error detection capabilities (e.g., accuracy increases from 70.8% to 77.7% on ProcessBench) and surpasses strong baselines, including distilled R1 model. Furthermore, applying SPC to guide the test-time search of diverse LLMs significantly improves their mathematical reasoning performance on MATH500 and AIME2024, outperforming state-of-the-art process reward models.