Точности результатов недостаточно: согласование процесса рассуждения моделей вознаграждения
Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models
February 4, 2026
Авторы: Binghai Wang, Yantao Liu, Yuxuan Liu, Tianyi Tang, Shenzhi Wang, Chang Gao, Chujie Zheng, Yichang Zhang, Le Yu, Shixuan Liu, Tao Gui, Qi Zhang, Xuanjing Huang, Bowen Yu, Fei Huang, Junyang Lin
cs.AI
Аннотация
Генеративные модели вознаграждения (GenRM) и подход LLM-as-a-Judge демонстрируют обманчивую согласованность, выдавая правильные оценки по неправильным причинам, поскольку они обучаются и оцениваются с приоритетом точности результата, что подрывает их способность к обобщению в процессе RLHF. Мы представляем согласованность обоснований — детализированную метрику, которая количественно оценивает соответствие между процессом рассуждений модели и человеческим суждением. Наша оценка передовых моделей показывает, что согласованность обоснований эффективно различает современные модели и обнаруживает обманчивую согласованность, в то время как точность результата не справляется с обеими задачами. Для устранения этого разрыва мы вводим гибридный сигнал, сочетающий согласованность обоснований с точностью результата для обучения GenRM. Наш метод обучения достигает наилучшей производительности на RM-Bench (87.1%) и JudgeBench (82%), превосходя базовые подходы, основанные только на результате, в среднем на 5%. При использовании модели вознаграждения в RLHF наш метод эффективно улучшает производительность, что демонстрируется на Arena Hard v2, с заметным улучшением на 7% в задачах творческого письма. Дальнейший анализ подтверждает, что наш метод позволяет избежать ловушки обманчивой согласованности, эффективно обращая вспять снижение согласованности обоснований, наблюдаемое при обучении, ориентированном только на результат.
English
Generative Reward Models (GenRMs) and LLM-as-a-Judge exhibit deceptive alignment by producing correct judgments for incorrect reasons, as they are trained and evaluated to prioritize Outcome Accuracy, which undermines their ability to generalize during RLHF. We introduce Rationale Consistency, a fine-grained metric that quantifies the alignment between the model's reasoning process and human judgment. Our evaluation of frontier models reveals that rationale consistency effectively discriminates among state-of-the-art models and detects deceptive alignment, while outcome accuracy falls short in both respects. To mitigate this gap, we introduce a hybrid signal that combines rationale consistency with outcome accuracy for GenRM training. Our training method achieves state-of-the-art performance on RM-Bench (87.1%) and JudgeBench (82%), surpassing outcome-only baselines by an average of 5%. Using RM during RLHF, our method effectively improves performance as demonstrated on Arena Hard v2, notably yielding a 7% improvement in creative writing tasks. Further analysis confirms that our method escapes the deceptive alignment trap, effectively reversing the decline in rationale consistency observed in outcome-only training.