La Precisión de los Resultados No es Suficiente: Alineando el Proceso de Razonamiento de los Modelos de Recompensa

Resumen

Los Modelos Generativos de Recompensa (GenRMs) y los sistemas LLM-como-Juez exhiben una alineación engañosa al producir juicios correctos por razones incorrectas, ya que son entrenados y evaluados para priorizar la Precisión del Resultado, lo que socava su capacidad de generalización durante el RLHF. Introducimos la Consistencia de la Razonamiento, una métrica detallada que cuantifica la alineación entre el proceso de razonamiento del modelo y el juicio humano. Nuestra evaluación de modelos de vanguardia revela que la consistencia de la razonamiento discrimina efectivamente entre los modelos más avanzados y detecta la alineación engañosa, mientras que la precisión del resultado falla en ambos aspectos. Para mitigar esta brecha, introducimos una señal híbrida que combina la consistencia de la razonamiento con la precisión del resultado para el entrenamiento de GenRMs. Nuestro método de entrenamiento alcanza un rendimiento de vanguardia en RM-Bench (87.1%) y JudgeBench (82%), superando los modelos basados únicamente en resultados en un promedio del 5%. Al utilizar el modelo de recompensa durante el RLHF, nuestro método mejora efectivamente el rendimiento como se demuestra en Arena Hard v2, logrando notablemente una mejora del 7% en tareas de escritura creativa. Un análisis adicional confirma que nuestro método escapa de la trampa de la alineación engañosa, revirtiendo efectivamente la disminución en la consistencia de la razonamiento observada en el entrenamiento basado únicamente en resultados.

English

Generative Reward Models (GenRMs) and LLM-as-a-Judge exhibit deceptive alignment by producing correct judgments for incorrect reasons, as they are trained and evaluated to prioritize Outcome Accuracy, which undermines their ability to generalize during RLHF. We introduce Rationale Consistency, a fine-grained metric that quantifies the alignment between the model's reasoning process and human judgment. Our evaluation of frontier models reveals that rationale consistency effectively discriminates among state-of-the-art models and detects deceptive alignment, while outcome accuracy falls short in both respects. To mitigate this gap, we introduce a hybrid signal that combines rationale consistency with outcome accuracy for GenRM training. Our training method achieves state-of-the-art performance on RM-Bench (87.1%) and JudgeBench (82%), surpassing outcome-only baselines by an average of 5%. Using RM during RLHF, our method effectively improves performance as demonstrated on Arena Hard v2, notably yielding a 7% improvement in creative writing tasks. Further analysis confirms that our method escapes the deceptive alignment trap, effectively reversing the decline in rationale consistency observed in outcome-only training.

La Precisión de los Resultados No es Suficiente: Alineando el Proceso de Razonamiento de los Modelos de Recompensa

Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models

Resumen

Support