Выровненная модель вознаграждения в реальном времени, выходящая за рамки семантики
Real-Time Aligned Reward Model beyond Semantics
January 30, 2026
Авторы: Zixuan Huang, Xin Xia, Yuxi Ren, Jianbin Zheng, Xuefeng Xiao, Hongyan Xie, Li Huaqiu, Songshi Liang, Zhongxiang Dai, Fuzhen Zhuang, Jianxin Li, Yikun Ban, Deqing Wang
cs.AI
Аннотация
Обучение с подкреплением на основе человеческих откликов (RLHF) является ключевой методикой для согласования больших языковых моделей (LLM) с человеческими предпочтениями, однако оно подвержено проблеме сверхоптимизации награды. В этом случае политика модели переобучается на модель награды, эксплуатируя случайные паттерны вознаграждения вместо точного отражения человеческих намерений. Предыдущие методы смягчения в основном опирались на поверхностную семантическую информацию и не позволяли эффективно устранять рассогласование между моделью награды (RM) и моделью политики, вызванное непрерывными сдвигами распределения политики. Это неизбежно приводит к нарастанию расхождения в награде, усугубляя проблему сверхоптимизации. Для преодоления этих ограничений мы представляем R2M — новую облегченную архитектуру RLHF. R2M выходит за рамки стандартных моделей награды, которые полагаются исключительно на семантические представления предварительно обученной LLM. Вместо этого она использует эволюционирующие скрытые состояния политики (так называемую обратную связь политики) для согласования с текущим сдвигом распределения политики в процессе обучения с подкреплением. Данная работа указывает на перспективное новое направление для повышения производительности моделей награды за счет оперативного использования обратной связи от моделей политики.
English
Reinforcement Learning from Human Feedback (RLHF) is a pivotal technique for aligning large language models (LLMs) with human preferences, yet it is susceptible to reward overoptimization, in which policy models overfit to the reward model, exploit spurious reward patterns instead of faithfully capturing human intent. Prior mitigations primarily relies on surface semantic information and fails to efficiently address the misalignment between the reward model (RM) and the policy model caused by continuous policy distribution shifts. This inevitably leads to an increasing reward discrepancy, exacerbating reward overoptimization. To address these limitations, we introduce R2M (Real-Time Aligned Reward Model), a novel lightweight RLHF framework. R2M goes beyond vanilla reward models that solely depend on the semantic representations of a pretrained LLM. Instead, it leverages the evolving hidden states of the policy (namely policy feedback) to align with the real-time distribution shift of the policy during the RL process. This work points to a promising new direction for improving the performance of reward models through real-time utilization of feedback from policy models.