Modèle de Récompense Aligné en Temps Réel au-Delà de la Sémantique
Real-Time Aligned Reward Model beyond Semantics
January 30, 2026
papers.authors: Zixuan Huang, Xin Xia, Yuxi Ren, Jianbin Zheng, Xuefeng Xiao, Hongyan Xie, Li Huaqiu, Songshi Liang, Zhongxiang Dai, Fuzhen Zhuang, Jianxin Li, Yikun Ban, Deqing Wang
cs.AI
papers.abstract
L’apprentissage par renforcement à partir de retours humains (RLHF) est une technique essentielle pour aligner les grands modèles de langage (LLM) sur les préférences humaines, mais il reste vulnérable à la sur-optimisation de la récompense, phénomène dans lequel les modèles de politique surapprennent le modèle de récompense et exploitent des motifs de récompense fallacieux plutôt que de capturer fidèlement l’intention humaine. Les atténuations précédentes reposent principalement sur des informations sémantiques de surface et peinent à résoudre efficacement le désalignement entre le modèle de récompense (RM) et le modèle de politique causé par les décalages continus de distribution de la politique. Cela entraîne inévitablement un écart croissant des récompenses, aggravant la sur-optimisation. Pour contourner ces limitations, nous présentons R2M (Real-Time Aligned Reward Model), un nouveau cadre RLHF léger. R2M va au-delà des modèles de récompense classiques qui dépendent uniquement des représentations sémantiques d’un LLM préentraîné. Il exploite plutôt les états cachés évolutifs de la politique (appelés retours de politique) pour s’aligner sur le décalage de distribution en temps réel de la politique durant le processus d’apprentissage par renforcement. Ces travaux ouvrent une nouvelle voie prometteuse pour améliorer les performances des modèles de récompense via l’utilisation en temps réel des retours des modèles de politique.
English
Reinforcement Learning from Human Feedback (RLHF) is a pivotal technique for aligning large language models (LLMs) with human preferences, yet it is susceptible to reward overoptimization, in which policy models overfit to the reward model, exploit spurious reward patterns instead of faithfully capturing human intent. Prior mitigations primarily relies on surface semantic information and fails to efficiently address the misalignment between the reward model (RM) and the policy model caused by continuous policy distribution shifts. This inevitably leads to an increasing reward discrepancy, exacerbating reward overoptimization. To address these limitations, we introduce R2M (Real-Time Aligned Reward Model), a novel lightweight RLHF framework. R2M goes beyond vanilla reward models that solely depend on the semantic representations of a pretrained LLM. Instead, it leverages the evolving hidden states of the policy (namely policy feedback) to align with the real-time distribution shift of the policy during the RL process. This work points to a promising new direction for improving the performance of reward models through real-time utilization of feedback from policy models.