L'accuratezza del risultato non basta: allineare il processo di ragionamento dei modelli di ricompensa

Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models

February 4, 2026

Autori: Binghai Wang, Yantao Liu, Yuxuan Liu, Tianyi Tang, Shenzhi Wang, Chang Gao, Chujie Zheng, Yichang Zhang, Le Yu, Shixuan Liu, Tao Gui, Qi Zhang, Xuanjing Huang, Bowen Yu, Fei Huang, Junyang Lin

cs.AI

Abstract

I Modelli di Ricompensa Generativi (GenRM) e l'approccio LLM-as-a-Judge mostrano un allineamento ingannevole producendo giudizi corretti per ragioni errate, poiché sono addestrati e valutati per privilegiare l'Accuratezza del Risultato, il che mina la loro capacità di generalizzare durante il RLHF. Introduciamo la Coerenza della Razionalità, una metrica granulare che quantifica l'allineamento tra il processo di ragionamento del modello e il giudizio umano. La nostra valutazione dei modelli di frontiera rivela che la coerenza della razionalità discrimina efficacemente tra i modelli all'avanguardia e rileva l'allineamento ingannevole, mentre l'accuratezza del risultato è carente in entrambi gli aspetti. Per colmare questa lacuna, introduciamo un segnale ibrido che combina la coerenza della razionalità con l'accuratezza del risultato per l'addestramento dei GenRM. Il nostro metodo di addestramento raggiunge prestazioni all'avanguardia su RM-Bench (87.1%) e JudgeBench (82%), superando le baseline basate solo sul risultato in media del 5%. Utilizzando il RM durante il RLHF, il nostro metodo migliora efficacemente le prestazioni come dimostrato su Arena Hard v2, con un notevole miglioramento del 7% nei compiti di scrittura creativa. Un'analisi più approfondita conferma che il nostro metodo evade la trappola dell'allineamento ingannevole, invertendo efficacemente il declino della coerenza della razionalità osservato nell'addestramento basato solo sul risultato.

English

Generative Reward Models (GenRMs) and LLM-as-a-Judge exhibit deceptive alignment by producing correct judgments for incorrect reasons, as they are trained and evaluated to prioritize Outcome Accuracy, which undermines their ability to generalize during RLHF. We introduce Rationale Consistency, a fine-grained metric that quantifies the alignment between the model's reasoning process and human judgment. Our evaluation of frontier models reveals that rationale consistency effectively discriminates among state-of-the-art models and detects deceptive alignment, while outcome accuracy falls short in both respects. To mitigate this gap, we introduce a hybrid signal that combines rationale consistency with outcome accuracy for GenRM training. Our training method achieves state-of-the-art performance on RM-Bench (87.1%) and JudgeBench (82%), surpassing outcome-only baselines by an average of 5%. Using RM during RLHF, our method effectively improves performance as demonstrated on Arena Hard v2, notably yielding a 7% improvement in creative writing tasks. Further analysis confirms that our method escapes the deceptive alignment trap, effectively reversing the decline in rationale consistency observed in outcome-only training.