SPC : Évolution d'un critique par auto-apprentissage via des jeux adversariaux pour le raisonnement des grands modèles de langage

SPC: Evolving Self-Play Critic via Adversarial Games for LLM Reasoning

April 27, 2025

Auteurs: Jiaqi Chen, Bang Zhang, Ruotian Ma, Peisong Wang, Xiaodan Liang, Zhaopeng Tu, Xiaolong Li, Kwan-Yee K. Wong

cs.AI

Résumé

Évaluer la fiabilité étape par étape du raisonnement des grands modèles de langage (LLM), comme la Chaîne de Pensée (Chain-of-Thought), reste un défi en raison de la difficulté et du coût liés à l'obtention d'une supervision de haute qualité au niveau des étapes. Dans cet article, nous introduisons le **Self-Play Critic (SPC)**, une approche novatrice dans laquelle un modèle critique développe sa capacité à évaluer les étapes de raisonnement à travers des jeux adversariaux d'auto-apprentissage, éliminant ainsi le besoin d'annotations manuelles au niveau des étapes. Le SPC consiste à affiner deux copies d'un modèle de base pour jouer deux rôles : un **"générateur sournois"** qui produit délibérément des étapes erronées conçues pour être difficiles à détecter, et un **"critique"** qui analyse la justesse des étapes de raisonnement. Ces deux modèles s'engagent dans un jeu adversarial où le générateur cherche à tromper le critique, tandis que le modèle critique vise à identifier les erreurs du générateur. En utilisant l'apprentissage par renforcement basé sur les résultats du jeu, les modèles s'améliorent de manière itérative : le gagnant de chaque confrontation reçoit une récompense positive et le perdant une récompense négative, favorisant ainsi une auto-évolution continue. Les expériences menées sur trois benchmarks de processus de raisonnement (ProcessBench, PRM800K, DeltaBench) démontrent que notre SPC améliore progressivement ses capacités de détection d'erreurs (par exemple, la précision passe de 70,8 % à 77,7 % sur ProcessBench) et surpasse des modèles de référence solides, y compris le modèle R1 distillé. De plus, l'application du SPC pour guider la recherche en temps réel de divers LLM améliore significativement leurs performances en raisonnement mathématique sur MATH500 et AIME2024, surpassant les modèles de récompense de processus les plus avancés.

English

Evaluating the step-by-step reliability of large language model (LLM) reasoning, such as Chain-of-Thought, remains challenging due to the difficulty and cost of obtaining high-quality step-level supervision. In this paper, we introduce Self-Play Critic (SPC), a novel approach where a critic model evolves its ability to assess reasoning steps through adversarial self-play games, eliminating the need for manual step-level annotation. SPC involves fine-tuning two copies of a base model to play two roles, namely a "sneaky generator" that deliberately produces erroneous steps designed to be difficult to detect, and a "critic" that analyzes the correctness of reasoning steps. These two models engage in an adversarial game in which the generator aims to fool the critic, while the critic model seeks to identify the generator's errors. Using reinforcement learning based on the game outcomes, the models iteratively improve; the winner of each confrontation receives a positive reward and the loser receives a negative reward, driving continuous self-evolution. Experiments on three reasoning process benchmarks (ProcessBench, PRM800K, DeltaBench) demonstrate that our SPC progressively enhances its error detection capabilities (e.g., accuracy increases from 70.8% to 77.7% on ProcessBench) and surpasses strong baselines, including distilled R1 model. Furthermore, applying SPC to guide the test-time search of diverse LLMs significantly improves their mathematical reasoning performance on MATH500 and AIME2024, outperforming state-of-the-art process reward models.