Real-Time Uitgelijnd Beloningsmodel voorbij Semantiek

Real-Time Aligned Reward Model beyond Semantics

January 30, 2026

Auteurs: Zixuan Huang, Xin Xia, Yuxi Ren, Jianbin Zheng, Xuefeng Xiao, Hongyan Xie, Li Huaqiu, Songshi Liang, Zhongxiang Dai, Fuzhen Zhuang, Jianxin Li, Yikun Ban, Deqing Wang

cs.AI

Samenvatting

Reinforcement Learning from Human Feedback (RLHF) is een cruciale techniek voor het afstemmen van grote taalmodellen (LLM's) op menselijke voorkeuren, maar het is vatbaar voor beloningsoveroptimalisatie. Hierbij passen beleidsmodellen zich te veel aan aan het beloningsmodel en benutten ze oppervlakkige beloningspatronen in plaats van de menselijke intentie correct te vatten. Bestaande tegenmaatregelen baseren zich voornamelijk op oppervlakkige semantische informatie en slagen er niet in de afwijking tussen het beloningsmodel (RM) en het beleidsmodel, veroorzaakt door continue verschuivingen in de beleidsverdeling, efficiënt aan te pakken. Dit leidt onvermijdelijk tot een toenemende beloningsdiscrepantie, wat beloningsoveroptimalisatie verergert. Om deze beperkingen aan te pakken, introduceren we R2M (Real-Time Aligned Reward Model), een nieuw lichtgewicht RLHF-raamwerk. R2M gaat verder dan standaard beloningsmodellen die uitsluitend afhankelijk zijn van de semantische representaties van een vooraf getraind LLM. In plaats daarvan benut het de evoluerende verborgen toestanden van het beleid (beleidsfeedback) om zich af te stemmen op de real-time verschuiving in de beleidsverdeling tijdens het RL-proces. Dit werk wijst een veelbelovende nieuwe richting aan voor het verbeteren van de prestaties van beloningsmodellen door real-time gebruik te maken van feedback van beleidsmodellen.

English

Reinforcement Learning from Human Feedback (RLHF) is a pivotal technique for aligning large language models (LLMs) with human preferences, yet it is susceptible to reward overoptimization, in which policy models overfit to the reward model, exploit spurious reward patterns instead of faithfully capturing human intent. Prior mitigations primarily relies on surface semantic information and fails to efficiently address the misalignment between the reward model (RM) and the policy model caused by continuous policy distribution shifts. This inevitably leads to an increasing reward discrepancy, exacerbating reward overoptimization. To address these limitations, we introduce R2M (Real-Time Aligned Reward Model), a novel lightweight RLHF framework. R2M goes beyond vanilla reward models that solely depend on the semantic representations of a pretrained LLM. Instead, it leverages the evolving hidden states of the policy (namely policy feedback) to align with the real-time distribution shift of the policy during the RL process. This work points to a promising new direction for improving the performance of reward models through real-time utilization of feedback from policy models.