StepWiser: Jueces Generativos Paso a Paso para un Razonamiento más Sabio

StepWiser: Stepwise Generative Judges for Wiser Reasoning

August 26, 2025

Autores: Wei Xiong, Wenting Zhao, Weizhe Yuan, Olga Golovneva, Tong Zhang, Jason Weston, Sainbayar Sukhbaatar

cs.AI

Resumen

A medida que los modelos aprovechan cada vez más estrategias de razonamiento de múltiples pasos para resolver problemas complejos, supervisar la validez lógica de estos pasos intermedios se ha convertido en un desafío de investigación crítico. Los modelos de recompensa por proceso abordan esto proporcionando retroalimentación paso a paso, pero los enfoques actuales tienen dos inconvenientes principales: generalmente funcionan como clasificadores sin ofrecer explicaciones, y su dependencia del ajuste fino supervisado con conjuntos de datos estáticos limita la generalización. Inspirados por avances recientes, reformulamos el modelado de recompensas paso a paso desde una tarea de clasificación a una tarea de razonamiento en sí misma. Por lo tanto, proponemos un juez generativo que razona sobre los pasos de razonamiento del modelo de política (es decir, meta-razona), emitiendo tokens de pensamiento antes de entregar un veredicto final. Nuestro modelo, StepWiser, se entrena mediante aprendizaje por refuerzo utilizando resultados relativos de ejecuciones. Demostramos que ofrece (i) una mejor precisión de juicio en los pasos intermedios que los métodos existentes; (ii) puede usarse para mejorar el modelo de política durante el entrenamiento; y (iii) mejora la búsqueda en tiempo de inferencia.

English

As models increasingly leverage multi-step reasoning strategies to solve complex problems, supervising the logical validity of these intermediate steps has become a critical research challenge. Process reward models address this by providing step-by-step feedback, but current approaches have two major drawbacks: they typically function as classifiers without providing explanations, and their reliance on supervised fine-tuning with static datasets limits generalization. Inspired by recent advances, we reframe stepwise reward modeling from a classification task to a reasoning task itself. We thus propose a generative judge that reasons about the policy model's reasoning steps (i.e., meta-reasons), outputting thinking tokens before delivering a final verdict. Our model, StepWiser, is trained by reinforcement learning using relative outcomes of rollouts. We show it provides (i) better judgment accuracy on intermediate steps than existing methods; (ii) can be used to improve the policy model at training time; and (iii) improves inference-time search.