의미를 넘어 실시간으로 정렬되는 보상 모델

초록

인간 피드백 강화 학습(RLHF)은 대규모 언어 모델(LLM)을 인간의 선호에 부합하도록 조정하는 핵심 기술이지만, 정책 모델이 보상 모델에 과적합되어 인간의 의도를 충실히 반영하지 못하고 허위 보상 패턴을 악용하는 보상 과적최적화에 취약합니다. 기존 완화 방법은 주로 표면적 의미 정보에 의존하며, 지속적인 정책 분포 변화로 인한 보상 모델(RM)과 정책 모델 간 불일치를 효과적으로 해결하지 못합니다. 이는 필연적으로 증가하는 보상 차이를 초래하여 보상 과적최적화를 악화시킵니다. 이러한 한계를 해결하기 위해 우리는 새로운 경량 RLHF 프레임워크인 R2M(실시간 정렬 보상 모델)을 제안합니다. R2M은 사전 학습된 LLM의 의미 표현만 의존하는 기존 보상 모델을 넘어, RL 과정 동안 정책의 실시간 분포 변화에 대응하기 위해 정책의 변화하는 은닉 상태(즉, 정책 피드백)를 활용합니다. 본 연구는 정책 모델의 피드백을 실시간으로 활용하여 보상 모델 성능을 향상시키는 새로운 방향을 제시합니다.

English

Reinforcement Learning from Human Feedback (RLHF) is a pivotal technique for aligning large language models (LLMs) with human preferences, yet it is susceptible to reward overoptimization, in which policy models overfit to the reward model, exploit spurious reward patterns instead of faithfully capturing human intent. Prior mitigations primarily relies on surface semantic information and fails to efficiently address the misalignment between the reward model (RM) and the policy model caused by continuous policy distribution shifts. This inevitably leads to an increasing reward discrepancy, exacerbating reward overoptimization. To address these limitations, we introduce R2M (Real-Time Aligned Reward Model), a novel lightweight RLHF framework. R2M goes beyond vanilla reward models that solely depend on the semantic representations of a pretrained LLM. Instead, it leverages the evolving hidden states of the policy (namely policy feedback) to align with the real-time distribution shift of the policy during the RL process. This work points to a promising new direction for improving the performance of reward models through real-time utilization of feedback from policy models.

의미를 넘어 실시간으로 정렬되는 보상 모델

Real-Time Aligned Reward Model beyond Semantics

초록

Support