Ergebnisgenügsamkeit reicht nicht aus: Ausrichtung des Denkprozesses von Belohnungsmodellen
Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models
February 4, 2026
Autoren: Binghai Wang, Yantao Liu, Yuxuan Liu, Tianyi Tang, Shenzhi Wang, Chang Gao, Chujie Zheng, Yichang Zhang, Le Yu, Shixuan Liu, Tao Gui, Qi Zhang, Xuanjing Huang, Bowen Yu, Fei Huang, Junyang Lin
cs.AI
Zusammenfassung
Generative Reward Models (GenRMs) und LLM-as-a-Judge zeigen eine trügerische Alignment, indem sie korrekte Urteile aus falschen Gründen fällen, da sie darauf trainiert und evaluiert werden, Ergebnisgenauigkeit zu priorisieren, was ihre Fähigkeit zur Generalisierung während RLHF untergräbt. Wir führen Rationale Consistency ein, eine fein granulare Metrik, die die Übereinstimmung zwischen dem Reasoning-Prozess des Modells und menschlichem Urteilsvermögen quantifiziert. Unsere Evaluierung von Frontier-Modellen zeigt, dass Rationale Consistency effektiv zwischen State-of-the-Art-Modellen unterscheidet und trügerische Alignment erkennt, während Ergebnisgenauigkeit in beiden Punkten versagt. Um diese Lücke zu schließen, führen wir ein hybrides Signal ein, das Rationale Consistency mit Ergebnisgenauigkeit für das GenRM-Training kombiniert. Unser Trainingsverfahren erreicht State-of-the-Art-Leistung auf RM-Bench (87,1 %) und JudgeBench (82 %) und übertrifft Outcome-only-Baselines im Durchschnitt um 5 %. Bei der Verwendung des RM während RLHF verbessert unsere Methode die Leistung effektiv, wie an Arena Hard v2 demonstriert wird, und erzielt insbesondere eine Verbesserung von 7 % bei kreativen Schreibaufgaben. Eine weiterführende Analyse bestätigt, dass unsere Methode der trügerischen Alignment-Falle entkommt und den bei Outcome-only-Training beobachteten Rückgang der Rationale Consistency wirksam umkehrt.
English
Generative Reward Models (GenRMs) and LLM-as-a-Judge exhibit deceptive alignment by producing correct judgments for incorrect reasons, as they are trained and evaluated to prioritize Outcome Accuracy, which undermines their ability to generalize during RLHF. We introduce Rationale Consistency, a fine-grained metric that quantifies the alignment between the model's reasoning process and human judgment. Our evaluation of frontier models reveals that rationale consistency effectively discriminates among state-of-the-art models and detects deceptive alignment, while outcome accuracy falls short in both respects. To mitigate this gap, we introduce a hybrid signal that combines rationale consistency with outcome accuracy for GenRM training. Our training method achieves state-of-the-art performance on RM-Bench (87.1%) and JudgeBench (82%), surpassing outcome-only baselines by an average of 5%. Using RM during RLHF, our method effectively improves performance as demonstrated on Arena Hard v2, notably yielding a 7% improvement in creative writing tasks. Further analysis confirms that our method escapes the deceptive alignment trap, effectively reversing the decline in rationale consistency observed in outcome-only training.