Ripensare i Modelli di Ricompensa per il Ridimensionamento in Dominii Multipli durante il Test

Abstract

L'affidabilità dei modelli linguistici di grandi dimensioni (LLM) durante il ridimensionamento in fase di test è spesso valutata mediante verificatori esterni o modelli di ricompensa che distinguono il ragionamento corretto dalla logica difettosa. Il lavoro precedente generalmente presuppone che i modelli di ricompensa basati sul processo (PRM), che valutano ogni passaggio intermedio del ragionamento, superino i modelli di ricompensa basati sul risultato (ORM) che valutano solo la risposta finale. Questa visione si basa principalmente su evidenze provenienti da ambiti ristretti e vicini alla matematica. Presentiamo la prima valutazione unificata di quattro varianti di modelli di ricompensa: ORM e PRM discriminativi (\DisORM, \DisPRM) e ORM e PRM generativi (\GenORM, \GenPRM), in 14 domini diversi. Contrariamente alla saggezza convenzionale, scopriamo che (i) \DisORM performa alla pari con \DisPRM, (ii) \GenPRM non è competitivo, e (iii) nel complesso, \GenORM è il più robusto, ottenendo guadagni significativi e consistenti in ogni dominio testato. Attribuiamo ciò alla valutazione passo-passo dello stile PRM, che eredita il rumore delle etichette dall'auto-etichettatura degli LLM e ha difficoltà a valutare traiettorie di ragionamento lunghe, comprese quelle che coinvolgono ragionamenti auto-correttivi. La nostra analisi teorica mostra che l'aggregazione passo-passo amplifica gli errori man mano che la lunghezza del ragionamento aumenta, e le nostre osservazioni empiriche confermano questo effetto. Questi risultati sfidano l'assunzione prevalente che una supervisione fine sia sempre migliore e supportano la verifica generativa del risultato per il dispiegamento in più domini. Rilasciamo pubblicamente il nostro codice, dataset e checkpoint su https://github.com/db-Lee/Multi-RM{\small\texttt{https://github.com/db-Lee/Multi-RM}} per facilitare la ricerca futura in contesti multi-dominio.

English

The reliability of large language models (LLMs) during test-time scaling is often assessed with external verifiers or reward models that distinguish correct reasoning from flawed logic. Prior work generally assumes that process reward models (PRMs), which score every intermediate reasoning step, outperform outcome reward models (ORMs) that assess only the final answer. This view is based mainly on evidence from narrow, math-adjacent domains. We present the first unified evaluation of four reward model variants, discriminative ORM and PRM (\DisORM, \DisPRM) and generative ORM and PRM (\GenORM, \GenPRM), across 14 diverse domains. Contrary to conventional wisdom, we find that (i) \DisORM performs on par with \DisPRM, (ii) \GenPRM is not competitive, and (iii) overall, \GenORM is the most robust, yielding significant and consistent gains across every tested domain. We attribute this to PRM-style stepwise scoring, which inherits label noise from LLM auto-labeling and has difficulty evaluating long reasoning trajectories, including those involving self-correcting reasoning. Our theoretical analysis shows that step-wise aggregation compounds errors as reasoning length grows, and our empirical observations confirm this effect. These findings challenge the prevailing assumption that fine-grained supervision is always better and support generative outcome verification for multi-domain deployment. We publicly release our code, datasets, and checkpoints at https://github.com/db-Lee/Multi-RM{\small\texttt{https://github.com/db-Lee/Multi-RM}} to facilitate future research in multi-domain settings.

Ripensare i Modelli di Ricompensa per il Ridimensionamento in Dominii Multipli durante il Test

Rethinking Reward Models for Multi-Domain Test-Time Scaling

Abstract

Support