Heroverdenken van beloningsmodellen voor multi-domein testtijd-schaling

Samenvatting

De betrouwbaarheid van grote taalmodellen (LLMs) tijdens schaling op testmoment wordt vaak beoordeeld met externe verificatoren of beloningsmodellen die correcte redenering onderscheiden van gebrekkige logica. Eerdere onderzoeken gaan er over het algemeen van uit dat procesbeloningsmodellen (PRMs), die elke tussenliggende redeneerstap beoordelen, beter presteren dan uitkomstbeloningsmodellen (ORMs) die alleen het eindantwoord beoordelen. Deze opvatting is voornamelijk gebaseerd op bewijs uit smalle, wiskundige domeinen. Wij presenteren de eerste geïntegreerde evaluatie van vier varianten van beloningsmodellen, discriminerende ORM en PRM (\DisORM, \DisPRM) en generatieve ORM en PRM (\GenORM, \GenPRM), over 14 diverse domeinen. In tegenstelling tot de conventionele wijsheid, vinden wij dat (i) \DisORM even goed presteert als \DisPRM, (ii) \GenPRM niet competitief is, en (iii) over het algemeen \GenORM het meest robuust is, met significante en consistente verbeteringen over elk getest domein. Wij schrijven dit toe aan stapgewijze scoring in PRM-stijl, die labelruis erft van automatische labeling door LLMs en moeite heeft met het evalueren van lange redeneertrajecten, inclusief die waarbij zelfcorrigerende redenering betrokken is. Onze theoretische analyse toont aan dat stapgewijze aggregatie fouten versterkt naarmate de redeneerlengte toeneemt, en onze empirische observaties bevestigen dit effect. Deze bevindingen dagen de heersende aanname uit dat fijnmazige supervisie altijd beter is en ondersteunen generatieve uitkomstverificatie voor implementatie in meerdere domeinen. Wij maken onze code, datasets en checkpoints openbaar op https://github.com/db-Lee/Multi-RM{\small\texttt{https://github.com/db-Lee/Multi-RM}} om toekomstig onderzoek in multi-domein settings te faciliteren.

English

The reliability of large language models (LLMs) during test-time scaling is often assessed with external verifiers or reward models that distinguish correct reasoning from flawed logic. Prior work generally assumes that process reward models (PRMs), which score every intermediate reasoning step, outperform outcome reward models (ORMs) that assess only the final answer. This view is based mainly on evidence from narrow, math-adjacent domains. We present the first unified evaluation of four reward model variants, discriminative ORM and PRM (\DisORM, \DisPRM) and generative ORM and PRM (\GenORM, \GenPRM), across 14 diverse domains. Contrary to conventional wisdom, we find that (i) \DisORM performs on par with \DisPRM, (ii) \GenPRM is not competitive, and (iii) overall, \GenORM is the most robust, yielding significant and consistent gains across every tested domain. We attribute this to PRM-style stepwise scoring, which inherits label noise from LLM auto-labeling and has difficulty evaluating long reasoning trajectories, including those involving self-correcting reasoning. Our theoretical analysis shows that step-wise aggregation compounds errors as reasoning length grows, and our empirical observations confirm this effect. These findings challenge the prevailing assumption that fine-grained supervision is always better and support generative outcome verification for multi-domain deployment. We publicly release our code, datasets, and checkpoints at https://github.com/db-Lee/Multi-RM{\small\texttt{https://github.com/db-Lee/Multi-RM}} to facilitate future research in multi-domain settings.

Heroverdenken van beloningsmodellen voor multi-domein testtijd-schaling

Rethinking Reward Models for Multi-Domain Test-Time Scaling

Samenvatting

Support