StepWiser: Juízes Gerativos Passo a Passo para Raciocínio Mais Sábio

StepWiser: Stepwise Generative Judges for Wiser Reasoning

August 26, 2025

Autores: Wei Xiong, Wenting Zhao, Weizhe Yuan, Olga Golovneva, Tong Zhang, Jason Weston, Sainbayar Sukhbaatar

cs.AI

Resumo

À medida que os modelos passam a utilizar estratégias de raciocínio em múltiplas etapas para resolver problemas complexos, supervisionar a validade lógica desses passos intermediários tornou-se um desafio crítico de pesquisa. Os modelos de recompensa de processo abordam isso fornecendo feedback passo a passo, mas as abordagens atuais apresentam duas grandes limitações: geralmente funcionam como classificadores sem fornecer explicações, e sua dependência de ajuste fino supervisionado com conjuntos de dados estáticos limita a generalização. Inspirados por avanços recentes, reformulamos a modelagem de recompensa passo a passo de uma tarefa de classificação para uma tarefa de raciocínio em si. Assim, propomos um juiz generativo que raciocina sobre as etapas de raciocínio do modelo de política (ou seja, meta-raciocina), gerando tokens de pensamento antes de emitir um veredito final. Nosso modelo, StepWiser, é treinado por aprendizado por reforço usando resultados relativos de execuções. Demonstramos que ele oferece (i) maior precisão de julgamento em etapas intermediárias do que os métodos existentes; (ii) pode ser usado para melhorar o modelo de política durante o treinamento; e (iii) melhora a busca durante a inferência.

English

As models increasingly leverage multi-step reasoning strategies to solve complex problems, supervising the logical validity of these intermediate steps has become a critical research challenge. Process reward models address this by providing step-by-step feedback, but current approaches have two major drawbacks: they typically function as classifiers without providing explanations, and their reliance on supervised fine-tuning with static datasets limits generalization. Inspired by recent advances, we reframe stepwise reward modeling from a classification task to a reasoning task itself. We thus propose a generative judge that reasons about the policy model's reasoning steps (i.e., meta-reasons), outputting thinking tokens before delivering a final verdict. Our model, StepWiser, is trained by reinforcement learning using relative outcomes of rollouts. We show it provides (i) better judgment accuracy on intermediate steps than existing methods; (ii) can be used to improve the policy model at training time; and (iii) improves inference-time search.