Modelo de Recompensa Alineado en Tiempo Real más Allá de la Semántica
Real-Time Aligned Reward Model beyond Semantics
January 30, 2026
Autores: Zixuan Huang, Xin Xia, Yuxi Ren, Jianbin Zheng, Xuefeng Xiao, Hongyan Xie, Li Huaqiu, Songshi Liang, Zhongxiang Dai, Fuzhen Zhuang, Jianxin Li, Yikun Ban, Deqing Wang
cs.AI
Resumen
El Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF) es una técnica fundamental para alinear los modelos de lenguaje grandes (LLMs) con las preferencias humanas, aunque es susceptible a la sobreoptimización de la recompensa, fenómeno en el cual los modelos de política se sobreajustan al modelo de recompensa y explotan patrones espurios en lugar de capturar fielmente la intención humana. Las mitigaciones previas se basan principalmente en información semántica superficial y no logran abordar eficientemente la desalineación entre el modelo de recompensa (RM) y el modelo de política causada por los cambios continuos en la distribución de la política. Esto conduce inevitablemente a una discrepancia de recompensa creciente, exacerbando la sobreoptimización. Para abordar estas limitaciones, presentamos R2M (Modelo de Recompensa Alineado en Tiempo Real), un novedoso marco de trabajo RLHF ligero. R2M va más allá de los modelos de recompensa básicos que dependen únicamente de las representaciones semánticas de un LLM preentrenado. En su lugar, aprovecha los estados ocultos en evolución de la política (denominados retroalimentación de la política) para alinearse con el cambio de distribución en tiempo real de la política durante el proceso de RL. Este trabajo señala una nueva dirección prometedora para mejorar el rendimiento de los modelos de recompensa mediante la utilización en tiempo real de la retroalimentación de los modelos de política.
English
Reinforcement Learning from Human Feedback (RLHF) is a pivotal technique for aligning large language models (LLMs) with human preferences, yet it is susceptible to reward overoptimization, in which policy models overfit to the reward model, exploit spurious reward patterns instead of faithfully capturing human intent. Prior mitigations primarily relies on surface semantic information and fails to efficiently address the misalignment between the reward model (RM) and the policy model caused by continuous policy distribution shifts. This inevitably leads to an increasing reward discrepancy, exacerbating reward overoptimization. To address these limitations, we introduce R2M (Real-Time Aligned Reward Model), a novel lightweight RLHF framework. R2M goes beyond vanilla reward models that solely depend on the semantic representations of a pretrained LLM. Instead, it leverages the evolving hidden states of the policy (namely policy feedback) to align with the real-time distribution shift of the policy during the RL process. This work points to a promising new direction for improving the performance of reward models through real-time utilization of feedback from policy models.