StepWiser: Giudici Generativi a Passi per un Ragionamento più Saggio

StepWiser: Stepwise Generative Judges for Wiser Reasoning

August 26, 2025

Autori: Wei Xiong, Wenting Zhao, Weizhe Yuan, Olga Golovneva, Tong Zhang, Jason Weston, Sainbayar Sukhbaatar

cs.AI

Abstract

Man mano che i modelli sfruttano sempre più strategie di ragionamento a più passaggi per risolvere problemi complessi, supervisionare la validità logica di questi passaggi intermedi è diventata una sfida di ricerca cruciale. I modelli di ricompensa basati sul processo affrontano questo problema fornendo feedback passo-passo, ma gli approcci attuali presentano due principali limiti: funzionano tipicamente come classificatori senza fornire spiegazioni, e la loro dipendenza da un fine-tuning supervisionato con dataset statici limita la generalizzazione. Ispirati dai recenti progressi, riformuliamo la modellazione della ricompensa passo-passo da un compito di classificazione a un compito di ragionamento stesso. Proponiamo quindi un giudice generativo che ragiona sui passaggi di ragionamento del modello di policy (cioè, meta-ragiona), emettendo token di pensiero prima di fornire un verdetto finale. Il nostro modello, StepWiser, viene addestrato tramite apprendimento per rinforzo utilizzando risultati relativi di rollout. Dimostriamo che fornisce (i) una migliore accuratezza di giudizio sui passaggi intermedi rispetto ai metodi esistenti; (ii) può essere utilizzato per migliorare il modello di policy durante l'addestramento; e (iii) migliora la ricerca al momento dell'inferenza.

English

As models increasingly leverage multi-step reasoning strategies to solve complex problems, supervising the logical validity of these intermediate steps has become a critical research challenge. Process reward models address this by providing step-by-step feedback, but current approaches have two major drawbacks: they typically function as classifiers without providing explanations, and their reliance on supervised fine-tuning with static datasets limits generalization. Inspired by recent advances, we reframe stepwise reward modeling from a classification task to a reasoning task itself. We thus propose a generative judge that reasons about the policy model's reasoning steps (i.e., meta-reasons), outputting thinking tokens before delivering a final verdict. Our model, StepWiser, is trained by reinforcement learning using relative outcomes of rollouts. We show it provides (i) better judgment accuracy on intermediate steps than existing methods; (ii) can be used to improve the policy model at training time; and (iii) improves inference-time search.