Unüberwachte Prozess-Belohnungsmodelle

Zusammenfassung

Prozess-Belohnungsmodelle (PRMs) sind ein leistungsfähiger Mechanismus zur Steuerung des Reasoning großer Sprachmodelle, indem sie eine feinkörnige Überwachung auf Schritt-Ebene bieten. Diese Effektivität geht jedoch mit erheblichen Kosten einher: PRMs erfordern Expertenannotationen für jeden einzelnen Reasoning-Schritt, was sie teuer und schwer skalierbar macht. Hier schlagen wir eine Methode zum Training unüberwachter PRMs (uPRM) vor, die keinerlei menschliche Überwachung benötigt – weder auf der Ebene von Schritt-für-Schritt-Annotationen noch durch die Verifikation von endgültigen Antworten mittels Ground Truth. Die Kernidee unseres Ansatzes besteht darin, eine Bewertungsfunktion zu definieren, die aus den nächste-Token-Wahrscheinlichkeiten von LLMs abgeleitet wird und gemeinsam Kandidatenpositionen für die ersten fehlerhaften Schritte über einen Stapel von Reasoning-Trajektorien hinweg beurteilt. Wir demonstrieren die Wirksamkeit von uPRM in verschiedenen Szenarien: (i) uPRM erzielt absolute Verbesserungen von bis zu 15% gegenüber dem LLM-as-a-Judge bei der Identifizierung erster fehlerhafter Schritte im ProcessBench-Datensatz; (ii) als Verifikator für die Skalierung zur Testzeit schneidet uPRM vergleichbar mit überwachten PRMs ab und übertrifft die Mehrheitsabstimmungs-Baseline um bis zu 6,9%; (iii) als Belohnungssignal im Reinforcement Learning ermöglicht uPRM eine robustere Politikoptimierung während des gesamten Trainings im Vergleich zu einem überwachten PRM, das mit Ground-Truth-Labeln trainiert wurde. Insgesamt eröffnen unsere Ergebnisse einen Weg zu skalierbarem Belohnungsmodellieren für komplexe Reasoning-Aufgaben.

English

Process Reward Models (PRMs) are a powerful mechanism for steering large language model reasoning by providing fine-grained, step-level supervision. However, this effectiveness comes at a significant cost: PRMs require expert annotations for every reasoning step, making them costly and difficult to scale. Here, we propose a method for training unsupervised PRMs (uPRM) that requires no human supervision, neither at the level of step-by-step annotations nor through ground-truth verification of final answers. The key idea behind our approach is to define a scoring function, derived from LLM next-token probabilities, that jointly assesses candidate positions of first erroneous steps across a batch of reasoning trajectories. We demonstrate the effectiveness of uPRM across diverse scenarios: (i) uPRM achieves up to 15% absolute accuracy improvements over the LLM-as-a-Judge in identifying first erroneous steps on the ProcessBench dataset; (ii) as a verifier for test-time scaling, uPRM performs comparably to supervised PRMs and outperforms the majority voting baseline by up to 6.9%, and (iii) when used as a reward signal in reinforcement learning, uPRM enables more robust policy optimization throughout training compared to a supervised PRM trained using ground-truth labels. Overall, our results open a path toward scalable reward modeling for complex reasoning tasks.