SPC: Evolución del Crítico de Autojuego mediante Juegos Adversariales para el Razonamiento en Modelos de Lenguaje Grande

SPC: Evolving Self-Play Critic via Adversarial Games for LLM Reasoning

April 27, 2025

Autores: Jiaqi Chen, Bang Zhang, Ruotian Ma, Peisong Wang, Xiaodan Liang, Zhaopeng Tu, Xiaolong Li, Kwan-Yee K. Wong

cs.AI

Resumen

Evaluar la fiabilidad paso a paso del razonamiento de los modelos de lenguaje de gran escala (LLM), como el Chain-of-Thought, sigue siendo un desafío debido a la dificultad y el costo de obtener supervisión de alta calidad a nivel de pasos. En este artículo, presentamos Self-Play Critic (SPC), un enfoque novedoso en el que un modelo crítico evoluciona su capacidad para evaluar los pasos de razonamiento a través de juegos adversarios de auto-juego, eliminando la necesidad de anotaciones manuales a nivel de pasos. SPC implica ajustar dos copias de un modelo base para desempeñar dos roles: un "generador astuto" que produce deliberadamente pasos erróneos diseñados para ser difíciles de detectar, y un "crítico" que analiza la corrección de los pasos de razonamiento. Estos dos modelos participan en un juego adversario en el que el generador busca engañar al crítico, mientras que el modelo crítico intenta identificar los errores del generador. Utilizando aprendizaje por refuerzo basado en los resultados del juego, los modelos mejoran iterativamente; el ganador de cada confrontación recibe una recompensa positiva y el perdedor una recompensa negativa, impulsando una evolución continua. Los experimentos en tres puntos de referencia de procesos de razonamiento (ProcessBench, PRM800K, DeltaBench) demuestran que nuestro SPC mejora progresivamente sus capacidades de detección de errores (por ejemplo, la precisión aumenta del 70.8% al 77.7% en ProcessBench) y supera a líneas de base sólidas, incluido el modelo R1 destilado. Además, aplicar SPC para guiar la búsqueda en tiempo de prueba de diversos LLM mejora significativamente su rendimiento en razonamiento matemático en MATH500 y AIME2024, superando a los modelos de recompensa de procesos más avanzados.

English

Evaluating the step-by-step reliability of large language model (LLM) reasoning, such as Chain-of-Thought, remains challenging due to the difficulty and cost of obtaining high-quality step-level supervision. In this paper, we introduce Self-Play Critic (SPC), a novel approach where a critic model evolves its ability to assess reasoning steps through adversarial self-play games, eliminating the need for manual step-level annotation. SPC involves fine-tuning two copies of a base model to play two roles, namely a "sneaky generator" that deliberately produces erroneous steps designed to be difficult to detect, and a "critic" that analyzes the correctness of reasoning steps. These two models engage in an adversarial game in which the generator aims to fool the critic, while the critic model seeks to identify the generator's errors. Using reinforcement learning based on the game outcomes, the models iteratively improve; the winner of each confrontation receives a positive reward and the loser receives a negative reward, driving continuous self-evolution. Experiments on three reasoning process benchmarks (ProcessBench, PRM800K, DeltaBench) demonstrate that our SPC progressively enhances its error detection capabilities (e.g., accuracy increases from 70.8% to 77.7% on ProcessBench) and surpasses strong baselines, including distilled R1 model. Furthermore, applying SPC to guide the test-time search of diverse LLMs significantly improves their mathematical reasoning performance on MATH500 and AIME2024, outperforming state-of-the-art process reward models.