Repenser les modèles de récompense pour la mise à l'échelle en phase de test multi-domaines

papers.abstract

La fiabilité des grands modèles de langage (LLMs) lors de la mise à l'échelle en phase de test est souvent évaluée à l'aide de vérificateurs externes ou de modèles de récompense qui distinguent le raisonnement correct de la logique défaillante. Les travaux antérieurs supposent généralement que les modèles de récompense basés sur le processus (PRMs), qui notent chaque étape intermédiaire du raisonnement, surpassent les modèles de récompense basés sur le résultat (ORMs) qui évaluent uniquement la réponse finale. Cette perspective repose principalement sur des preuves issues de domaines étroits, proches des mathématiques. Nous présentons la première évaluation unifiée de quatre variantes de modèles de récompense : les ORM et PRM discriminatifs (\DisORM, \DisPRM) et les ORM et PRM génératifs (\GenORM, \GenPRM), à travers 14 domaines variés. Contrairement à la sagesse conventionnelle, nous constatons que (i) \DisORM performe aussi bien que \DisPRM, (ii) \GenPRM n'est pas compétitif, et (iii) globalement, \GenORM est le plus robuste, offrant des gains significatifs et cohérents dans chaque domaine testé. Nous attribuons cela à la notation étape par étape de style PRM, qui hérite du bruit des étiquettes provenant de l'auto-étiquetage des LLM et a des difficultés à évaluer les trajectoires de raisonnement longues, y compris celles impliquant un raisonnement auto-correctif. Notre analyse théorique montre que l'agrégation étape par étape amplifie les erreurs à mesure que la longueur du raisonnement augmente, et nos observations empiriques confirment cet effet. Ces résultats remettent en question l'hypothèse dominante selon laquelle une supervision fine est toujours meilleure et soutiennent la vérification générative des résultats pour un déploiement multi-domaine. Nous rendons publics notre code, nos ensembles de données et nos points de contrôle à l'adresse https://github.com/db-Lee/Multi-RM{\small\texttt{https://github.com/db-Lee/Multi-RM}} pour faciliter les recherches futures dans des contextes multi-domaines.

English

The reliability of large language models (LLMs) during test-time scaling is often assessed with external verifiers or reward models that distinguish correct reasoning from flawed logic. Prior work generally assumes that process reward models (PRMs), which score every intermediate reasoning step, outperform outcome reward models (ORMs) that assess only the final answer. This view is based mainly on evidence from narrow, math-adjacent domains. We present the first unified evaluation of four reward model variants, discriminative ORM and PRM (\DisORM, \DisPRM) and generative ORM and PRM (\GenORM, \GenPRM), across 14 diverse domains. Contrary to conventional wisdom, we find that (i) \DisORM performs on par with \DisPRM, (ii) \GenPRM is not competitive, and (iii) overall, \GenORM is the most robust, yielding significant and consistent gains across every tested domain. We attribute this to PRM-style stepwise scoring, which inherits label noise from LLM auto-labeling and has difficulty evaluating long reasoning trajectories, including those involving self-correcting reasoning. Our theoretical analysis shows that step-wise aggregation compounds errors as reasoning length grows, and our empirical observations confirm this effect. These findings challenge the prevailing assumption that fine-grained supervision is always better and support generative outcome verification for multi-domain deployment. We publicly release our code, datasets, and checkpoints at https://github.com/db-Lee/Multi-RM{\small\texttt{https://github.com/db-Lee/Multi-RM}} to facilitate future research in multi-domain settings.

Repenser les modèles de récompense pour la mise à l'échelle en phase de test multi-domaines

Rethinking Reward Models for Multi-Domain Test-Time Scaling

papers.abstract

Support