Echtzeit-Ausgerichtetes Belohnungsmodell über Semantik hinaus
Real-Time Aligned Reward Model beyond Semantics
January 30, 2026
papers.authors: Zixuan Huang, Xin Xia, Yuxi Ren, Jianbin Zheng, Xuefeng Xiao, Hongyan Xie, Li Huaqiu, Songshi Liang, Zhongxiang Dai, Fuzhen Zhuang, Jianxin Li, Yikun Ban, Deqing Wang
cs.AI
papers.abstract
Reinforcement Learning from Human Feedback (RLHF) ist eine zentrale Technik zur Ausrichtung großer Sprachmodelle (LLMs) an menschlichen Präferenzen, ist jedoch anfällig für Reward-Overoptimierung, bei der Policymodelle an das Reward-Modell überanpassen, indem sie trügerische Belohnungsmuster ausnutzen, anstatt die menschliche Intention treu zu erfassen. Bisherige Gegenmaßnahmen stützen sich hauptsächlich auf oberflächliche semantische Informationen und können die Fehlausrichtung zwischen dem Reward-Modell (RM) und dem Policymodell, die durch kontinuierliche Policy-Verteilungsverschiebungen verursacht wird, nicht effizient beheben. Dies führt unweigerlich zu einer zunehmenden Belohnungsdifferenz, die die Reward-Overoptimierung verschärft. Um diese Einschränkungen zu adressieren, führen wir R2M (Real-Time Aligned Reward Model) ein, einen neuartigen schlanken RLHF-Rahmen. R2M geht über einfache Reward-Modelle hinaus, die ausschließlich von den semantischen Repräsentationen eines vortrainierten LLMs abhängen. Stattdessen nutzt es die sich entwickelnden versteckten Zustände der Policy (sogenanntes Policy-Feedback), um sich mit der Echtzeit-Verteilungsverschiebung der Policy während des RL-Prozesses abzugleichen. Diese Arbeit weist auf eine vielversprechende neue Richtung hin, um die Leistung von Reward-Modellen durch Echtzeit-Nutzung von Feedback von Policymodellen zu verbessern.
English
Reinforcement Learning from Human Feedback (RLHF) is a pivotal technique for aligning large language models (LLMs) with human preferences, yet it is susceptible to reward overoptimization, in which policy models overfit to the reward model, exploit spurious reward patterns instead of faithfully capturing human intent. Prior mitigations primarily relies on surface semantic information and fails to efficiently address the misalignment between the reward model (RM) and the policy model caused by continuous policy distribution shifts. This inevitably leads to an increasing reward discrepancy, exacerbating reward overoptimization. To address these limitations, we introduce R2M (Real-Time Aligned Reward Model), a novel lightweight RLHF framework. R2M goes beyond vanilla reward models that solely depend on the semantic representations of a pretrained LLM. Instead, it leverages the evolving hidden states of the policy (namely policy feedback) to align with the real-time distribution shift of the policy during the RL process. This work points to a promising new direction for improving the performance of reward models through real-time utilization of feedback from policy models.