Neubewertung von Belohnungsmodellen für Multi-Domain-Testzeit-Skalierung

papers.abstract

Die Zuverlässigkeit großer Sprachmodelle (LLMs) während der Skalierung zur Testzeit wird häufig mit externen Verifizierern oder Belohnungsmodellen bewertet, die korrektes von fehlerhaftem logischem Denken unterscheiden. Bisherige Arbeiten gehen allgemein davon aus, dass Prozess-Belohnungsmodelle (PRMs), die jeden Zwischenschritt der Argumentation bewerten, Ergebnis-Belohnungsmodelle (ORMs), die nur die endgültige Antwort bewerten, übertreffen. Diese Ansicht basiert hauptsächlich auf Erkenntnissen aus eng gefassten, mathematiknahen Domänen. Wir präsentieren die erste einheitliche Bewertung von vier Varianten von Belohnungsmodellen, diskriminativen ORM und PRM (\DisORM, \DisPRM) sowie generativen ORM und PRM (\GenORM, \GenPRM), über 14 verschiedene Domänen hinweg. Entgegen der herkömmlichen Weisheit stellen wir fest, dass (i) \DisORM mit \DisPRM gleichauf liegt, (ii) \GenPRM nicht wettbewerbsfähig ist und (iii) insgesamt \GenORM das robusteste Modell darstellt, das signifikante und konsistente Verbesserungen in jeder getesteten Domäne erzielt. Wir führen dies auf die schrittweise Bewertung im PRM-Stil zurück, die Rauschen in den Labels durch automatische Beschriftung der LLMs erbt und Schwierigkeiten hat, lange Argumentationspfade zu bewerten, einschließlich solcher, die selbstkorrigierendes Denken beinhalten. Unsere theoretische Analyse zeigt, dass die schrittweise Aggregation von Fehlern mit zunehmender Länge der Argumentation zunimmt, und unsere empirischen Beobachtungen bestätigen diesen Effekt. Diese Erkenntnisse stellen die vorherrschende Annahme in Frage, dass feinkörnige Überwachung immer besser ist, und unterstützen die generative Ergebnisverifikation für den Einsatz in mehreren Domänen. Wir veröffentlichen unseren Code, Datensätze und Checkpoints unter \url{https://github.com/db-Lee/Multi-RM}, um zukünftige Forschung in mehrdomänigen Kontexten zu erleichtern.

English

The reliability of large language models (LLMs) during test-time scaling is often assessed with external verifiers or reward models that distinguish correct reasoning from flawed logic. Prior work generally assumes that process reward models (PRMs), which score every intermediate reasoning step, outperform outcome reward models (ORMs) that assess only the final answer. This view is based mainly on evidence from narrow, math-adjacent domains. We present the first unified evaluation of four reward model variants, discriminative ORM and PRM (\DisORM, \DisPRM) and generative ORM and PRM (\GenORM, \GenPRM), across 14 diverse domains. Contrary to conventional wisdom, we find that (i) \DisORM performs on par with \DisPRM, (ii) \GenPRM is not competitive, and (iii) overall, \GenORM is the most robust, yielding significant and consistent gains across every tested domain. We attribute this to PRM-style stepwise scoring, which inherits label noise from LLM auto-labeling and has difficulty evaluating long reasoning trajectories, including those involving self-correcting reasoning. Our theoretical analysis shows that step-wise aggregation compounds errors as reasoning length grows, and our empirical observations confirm this effect. These findings challenge the prevailing assumption that fine-grained supervision is always better and support generative outcome verification for multi-domain deployment. We publicly release our code, datasets, and checkpoints at https://github.com/db-Lee/Multi-RM{\small\texttt{https://github.com/db-Lee/Multi-RM}} to facilitate future research in multi-domain settings.

Neubewertung von Belohnungsmodellen für Multi-Domain-Testzeit-Skalierung

Rethinking Reward Models for Multi-Domain Test-Time Scaling

papers.abstract

Support