StepWiser: Пошаговые генеративные судьи для более мудрых рассуждений

StepWiser: Stepwise Generative Judges for Wiser Reasoning

August 26, 2025

Авторы: Wei Xiong, Wenting Zhao, Weizhe Yuan, Olga Golovneva, Tong Zhang, Jason Weston, Sainbayar Sukhbaatar

cs.AI

Аннотация

По мере того как модели всё чаще используют многошаговые стратегии рассуждений для решения сложных задач, контроль логической корректности этих промежуточных шагов становится важной исследовательской проблемой. Модели пошагового вознаграждения решают эту задачу, предоставляя обратную связь на каждом этапе, но текущие подходы имеют два основных недостатка: они обычно функционируют как классификаторы, не предоставляя объяснений, и их зависимость от контролируемой тонкой настройки на статических наборах данных ограничивает обобщаемость. Вдохновлённые последними достижениями, мы переосмысливаем моделирование пошагового вознаграждения, превращая его из задачи классификации в задачу рассуждения. Мы предлагаем генеративного судью, который анализирует шаги рассуждений модели политики (т.е., мета-рассуждения), выводя промежуточные токены мышления перед вынесением окончательного вердикта. Наша модель, StepWiser, обучается с использованием обучения с подкреплением на основе относительных результатов прогонов. Мы показываем, что она обеспечивает (i) более высокую точность оценки промежуточных шагов по сравнению с существующими методами; (ii) может использоваться для улучшения модели политики во время обучения; и (iii) улучшает поиск на этапе вывода.

English

As models increasingly leverage multi-step reasoning strategies to solve complex problems, supervising the logical validity of these intermediate steps has become a critical research challenge. Process reward models address this by providing step-by-step feedback, but current approaches have two major drawbacks: they typically function as classifiers without providing explanations, and their reliance on supervised fine-tuning with static datasets limits generalization. Inspired by recent advances, we reframe stepwise reward modeling from a classification task to a reasoning task itself. We thus propose a generative judge that reasons about the policy model's reasoning steps (i.e., meta-reasons), outputting thinking tokens before delivering a final verdict. Our model, StepWiser, is trained by reinforcement learning using relative outcomes of rollouts. We show it provides (i) better judgment accuracy on intermediate steps than existing methods; (ii) can be used to improve the policy model at training time; and (iii) improves inference-time search.