SPC: Развитие самокритики через состязательные игры для улучшения рассуждений в больших языковых моделях

SPC: Evolving Self-Play Critic via Adversarial Games for LLM Reasoning

April 27, 2025

Авторы: Jiaqi Chen, Bang Zhang, Ruotian Ma, Peisong Wang, Xiaodan Liang, Zhaopeng Tu, Xiaolong Li, Kwan-Yee K. Wong

cs.AI

Аннотация

Оценка пошаговой надежности рассуждений больших языковых моделей (LLM), таких как Chain-of-Thought, остается сложной задачей из-за трудностей и затрат, связанных с получением высококачественного пошагового контроля. В данной статье мы представляем Self-Play Critic (SPC) — новый подход, в котором модель-критик развивает способность оценивать шаги рассуждений через игры с противодействием в формате самопротивоборства, устраняя необходимость в ручной аннотации на уровне шагов. SPC включает тонкую настройку двух копий базовой модели для выполнения двух ролей: "хитрого генератора", который намеренно создает ошибочные шаги, сложные для обнаружения, и "критика", который анализирует правильность шагов рассуждений. Эти две модели участвуют в игре с противодействием, где генератор стремится обмануть критика, а модель-критик пытается выявить ошибки генератора. Используя обучение с подкреплением на основе результатов игры, модели итеративно улучшаются; победитель каждого противостояния получает положительное вознаграждение, а проигравший — отрицательное, что стимулирует непрерывное саморазвитие. Эксперименты на трех наборах данных для оценки процессов рассуждений (ProcessBench, PRM800K, DeltaBench) демонстрируют, что SPC постепенно улучшает свои способности к обнаружению ошибок (например, точность увеличивается с 70,8% до 77,7% на ProcessBench) и превосходит сильные базовые модели, включая дистиллированную модель R1. Более того, применение SPC для управления поиском на этапе тестирования различных LLM значительно улучшает их математические рассуждения на наборах данных MATH500 и AIME2024, превосходя современные модели вознаграждения за процесс.

English

Evaluating the step-by-step reliability of large language model (LLM) reasoning, such as Chain-of-Thought, remains challenging due to the difficulty and cost of obtaining high-quality step-level supervision. In this paper, we introduce Self-Play Critic (SPC), a novel approach where a critic model evolves its ability to assess reasoning steps through adversarial self-play games, eliminating the need for manual step-level annotation. SPC involves fine-tuning two copies of a base model to play two roles, namely a "sneaky generator" that deliberately produces erroneous steps designed to be difficult to detect, and a "critic" that analyzes the correctness of reasoning steps. These two models engage in an adversarial game in which the generator aims to fool the critic, while the critic model seeks to identify the generator's errors. Using reinforcement learning based on the game outcomes, the models iteratively improve; the winner of each confrontation receives a positive reward and the loser receives a negative reward, driving continuous self-evolution. Experiments on three reasoning process benchmarks (ProcessBench, PRM800K, DeltaBench) demonstrate that our SPC progressively enhances its error detection capabilities (e.g., accuracy increases from 70.8% to 77.7% on ProcessBench) and surpasses strong baselines, including distilled R1 model. Furthermore, applying SPC to guide the test-time search of diverse LLMs significantly improves their mathematical reasoning performance on MATH500 and AIME2024, outperforming state-of-the-art process reward models.