Uitkomsten nauwkeurigheid is niet voldoende: Afstemming van het redeneerproces van beloningsmodellen

Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models

February 4, 2026

Auteurs: Binghai Wang, Yantao Liu, Yuxuan Liu, Tianyi Tang, Shenzhi Wang, Chang Gao, Chujie Zheng, Yichang Zhang, Le Yu, Shixuan Liu, Tao Gui, Qi Zhang, Xuanjing Huang, Bowen Yu, Fei Huang, Junyang Lin

cs.AI

Samenvatting

Generatieve Beloningsmodellen (GenRMs) en LLM-als-rechter vertonen misleidende afstemming door correcte oordelen te produceren om de verkeerde redenen, aangezien ze worden getraind en geëvalueerd om Resultaatsnauwkeurigheid te prioriteren, wat hun vermogen om te generaliseren tijdens RLHF ondermijnt. Wij introduceren Redeneerconsistentie, een fijnmazige metric die de afstemming tussen het redeneerproces van het model en het menselijk oordeel kwantificeert. Onze evaluatie van frontier-modellen toont aan dat redeneerconsistentie effectief onderscheid maakt tussen state-of-the-art modellen en misleidende afstemming detecteert, terwijl resultaatsnauwkeurigheid op beide punten tekortschiet. Om deze kloof te dichten, introduceren we een hybride signaal dat redeneerconsistentie combineert met resultaatsnauwkeurigheid voor de training van GenRMs. Onze trainingsmethode behaalt state-of-the-art prestaties op RM-Bench (87,1%) en JudgeBench (82%), en overtreft de uitsluitend-op-resultaat gebaseerde basislijnen met gemiddeld 5%. Bij het gebruik van de RM tijdens RLHF verbetert onze methode effectief de prestaties, zoals aangetoond op Arena Hard v2, met name met een verbetering van 7% bij creatieve schrijftaken. Verdere analyse bevestigt dat onze methode ontsnapt aan de val van misleidende afstemming en de daling in redeneerconsistentie die wordt waargenomen bij uitsluitend-op-resultaat gebaseerde training effectief omkeert.

English

Generative Reward Models (GenRMs) and LLM-as-a-Judge exhibit deceptive alignment by producing correct judgments for incorrect reasons, as they are trained and evaluated to prioritize Outcome Accuracy, which undermines their ability to generalize during RLHF. We introduce Rationale Consistency, a fine-grained metric that quantifies the alignment between the model's reasoning process and human judgment. Our evaluation of frontier models reveals that rationale consistency effectively discriminates among state-of-the-art models and detects deceptive alignment, while outcome accuracy falls short in both respects. To mitigate this gap, we introduce a hybrid signal that combines rationale consistency with outcome accuracy for GenRM training. Our training method achieves state-of-the-art performance on RM-Bench (87.1%) and JudgeBench (82%), surpassing outcome-only baselines by an average of 5%. Using RM during RLHF, our method effectively improves performance as demonstrated on Arena Hard v2, notably yielding a 7% improvement in creative writing tasks. Further analysis confirms that our method escapes the deceptive alignment trap, effectively reversing the decline in rationale consistency observed in outcome-only training.