A Precisão do Resultado Não é Suficiente: Alinhando o Processo de Raciocínio dos Modelos de Recompensa

Resumo

Os Modelos Generativos de Recompensa (GenRMs) e a abordagem LLM-como-Juiz exibem um alinhamento enganoso ao produzirem julgamentos corretos por razões incorretas, uma vez que são treinados e avaliados para priorizar a Precisão do Resultado, o que prejudica sua capacidade de generalização durante o RLHF. Introduzimos a Consistência da Fundamentação, uma métrica refinada que quantifica o alinhamento entre o processo de raciocínio do modelo e o julgamento humano. Nossa avaliação de modelos de fronteira revela que a consistência da fundamentação discrimina efetivamente entre os modelos state-of-the-art e detecta o alinhamento enganoso, enquanto a precisão do resultado se mostra insuficiente em ambos os aspectos. Para mitigar esta lacuna, introduzimos um sinal híbrido que combina a consistência da fundamentação com a precisão do resultado para o treinamento de GenRMs. Nosso método de treinamento atinge desempenho state-of-the-art no RM-Bench (87,1%) e no JudgeBench (82%), superando as linhas de base baseadas apenas no resultado em uma média de 5%. Ao utilizar o RM durante o RLHF, nosso método melhora efetivamente o desempenho, como demonstrado no Arena Hard v2, com um notável aumento de 7% em tarefas de escrita criativa. Análises adicionais confirmam que nosso método escapa da armadilha do alinhamento enganoso, revertendo efetivamente o declínio na consistência da fundamentação observado no treinamento baseado apenas no resultado.

English

Generative Reward Models (GenRMs) and LLM-as-a-Judge exhibit deceptive alignment by producing correct judgments for incorrect reasons, as they are trained and evaluated to prioritize Outcome Accuracy, which undermines their ability to generalize during RLHF. We introduce Rationale Consistency, a fine-grained metric that quantifies the alignment between the model's reasoning process and human judgment. Our evaluation of frontier models reveals that rationale consistency effectively discriminates among state-of-the-art models and detects deceptive alignment, while outcome accuracy falls short in both respects. To mitigate this gap, we introduce a hybrid signal that combines rationale consistency with outcome accuracy for GenRM training. Our training method achieves state-of-the-art performance on RM-Bench (87.1%) and JudgeBench (82%), surpassing outcome-only baselines by an average of 5%. Using RM during RLHF, our method effectively improves performance as demonstrated on Arena Hard v2, notably yielding a 7% improvement in creative writing tasks. Further analysis confirms that our method escapes the deceptive alignment trap, effectively reversing the decline in rationale consistency observed in outcome-only training.

A Precisão do Resultado Não é Suficiente: Alinhando o Processo de Raciocínio dos Modelos de Recompensa

Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models

Resumo

Support