Modello di Ricompensa Allineato in Tempo Reale oltre la Semantica
Real-Time Aligned Reward Model beyond Semantics
January 30, 2026
Autori: Zixuan Huang, Xin Xia, Yuxi Ren, Jianbin Zheng, Xuefeng Xiao, Hongyan Xie, Li Huaqiu, Songshi Liang, Zhongxiang Dai, Fuzhen Zhuang, Jianxin Li, Yikun Ban, Deqing Wang
cs.AI
Abstract
L'Apprendimento per Rinforzo con Feedback Umano (RLHF) è una tecnica fondamentale per allineare i grandi modelli linguistici (LLM) alle preferenze umane, ma è suscettibile all'ottimizzazione eccessiva della ricompensa, in cui i modelli policy sovradattano il modello di ricompensa, sfruttando pattern spurdi anziché cogliere fedelmente l'intento umano. Le mitigazioni precedenti si basano principalmente su informazioni semantiche superficiali e non riescono ad affrontare efficientemente il disallineamento tra il modello di ricompensa (RM) e il modello policy causato dai continui spostamenti della distribuzione policy. Ciò porta inevitabilmente a una crescente discrepanza nelle ricompense, aggravando l'overoptimization. Per superare questi limiti, introduciamo R2M (Real-Time Aligned Reward Model), un nuovo framework RLHF leggero. R2M va oltre i modelli di ricompensa standard che dipendono esclusivamente dalle rappresentazioni semantiche di un LLM preaddestrato. Utilizza invece gli stati nascosti evolutivi della policy (definiti feedback della policy) per allinearsi allo spostamento distributivo in tempo reale della policy durante il processo RL. Questo lavoro indica una nuova direzione promettente per migliorare le prestazioni dei modelli di ricompensa attraverso l'utilizzo in tempo reale del feedback dei modelli policy.
English
Reinforcement Learning from Human Feedback (RLHF) is a pivotal technique for aligning large language models (LLMs) with human preferences, yet it is susceptible to reward overoptimization, in which policy models overfit to the reward model, exploit spurious reward patterns instead of faithfully capturing human intent. Prior mitigations primarily relies on surface semantic information and fails to efficiently address the misalignment between the reward model (RM) and the policy model caused by continuous policy distribution shifts. This inevitably leads to an increasing reward discrepancy, exacerbating reward overoptimization. To address these limitations, we introduce R2M (Real-Time Aligned Reward Model), a novel lightweight RLHF framework. R2M goes beyond vanilla reward models that solely depend on the semantic representations of a pretrained LLM. Instead, it leverages the evolving hidden states of the policy (namely policy feedback) to align with the real-time distribution shift of the policy during the RL process. This work points to a promising new direction for improving the performance of reward models through real-time utilization of feedback from policy models.