Modelo de Recompensa Alinhado em Tempo Real Além da Semântica
Real-Time Aligned Reward Model beyond Semantics
January 30, 2026
Autores: Zixuan Huang, Xin Xia, Yuxi Ren, Jianbin Zheng, Xuefeng Xiao, Hongyan Xie, Li Huaqiu, Songshi Liang, Zhongxiang Dai, Fuzhen Zhuang, Jianxin Li, Yikun Ban, Deqing Wang
cs.AI
Resumo
O Aprendizado por Reforço com Feedback Humano (RLHF) é uma técnica fundamental para alinhar grandes modelos de linguagem (LLMs) com as preferências humanas, mas é suscetível à superotimização da recompensa, na qual os modelos de política se ajustam excessivamente ao modelo de recompensa, explorando padrões espúrios em vez de capturar fielmente a intenção humana. As mitigações anteriores baseiam-se principalmente em informações semânticas superficiais e não conseguem abordar eficientemente o desalinhamento entre o modelo de recompensa (RM) e o modelo de política causado por mudanças contínuas na distribuição da política. Isso inevitavelmente leva a uma discrepância crescente na recompensa, exacerbando a superotimização. Para superar essas limitações, introduzimos o R2M (Modelo de Recompensa Alinhado em Tempo Real), uma nova estrutura leve de RLHF. O R2M vai além dos modelos de recompensa convencionais que dependem exclusivamente das representações semânticas de um LLM pré-treinado. Em vez disso, ele aproveita os estados ocultos em evolução da política (denominados feedback da política) para se alinhar à mudança de distribuição em tempo real da política durante o processo de RL. Este trabalho aponta para uma nova direção promissora para melhorar o desempenho dos modelos de recompensa por meio da utilização em tempo real do feedback dos modelos de política.
English
Reinforcement Learning from Human Feedback (RLHF) is a pivotal technique for aligning large language models (LLMs) with human preferences, yet it is susceptible to reward overoptimization, in which policy models overfit to the reward model, exploit spurious reward patterns instead of faithfully capturing human intent. Prior mitigations primarily relies on surface semantic information and fails to efficiently address the misalignment between the reward model (RM) and the policy model caused by continuous policy distribution shifts. This inevitably leads to an increasing reward discrepancy, exacerbating reward overoptimization. To address these limitations, we introduce R2M (Real-Time Aligned Reward Model), a novel lightweight RLHF framework. R2M goes beyond vanilla reward models that solely depend on the semantic representations of a pretrained LLM. Instead, it leverages the evolving hidden states of the policy (namely policy feedback) to align with the real-time distribution shift of the policy during the RL process. This work points to a promising new direction for improving the performance of reward models through real-time utilization of feedback from policy models.