リアルタイム意味整合報酬モデルの限界を超えて

要旨

人間のフィードバックによる強化学習（RLHF）は、大規模言語モデル（LLM）を人間の選好に合わせるための重要な技術である。しかし、報酬の過剰最適化に対して脆弱であり、政策モデルが報酬モデルに過剰適合し、人間の意図を忠実に反映する代わりに表面的な報酬パターンを利用する問題がある。従来の対策は主に表面的な意味情報に依存しており、政策分布の連続的な変化によって生じる報酬モデル（RM）と政策モデルの間の不一致を効果的に解決できていない。これにより、報酬の不一致が拡大し、報酬の過剰最適化が悪化する。こうした課題を解決するため、我々は新しい軽量RLHFフレームワークであるR2M（Real-Time Aligned Reward Model）を提案する。R2Mは、事前学習済みLLMの意味表現のみに依存する従来の報酬モデルを超えて、強化学習プロセスにおける政策の分布変化にリアルタイムで適応するため、政策の隠れ状態（政策フィードバック）を動的に活用する。本研究は、政策モデルからのフィードバックをリアルタイムで活用することで報酬モデルの性能を向上させる新たな方向性を示すものである。

English

Reinforcement Learning from Human Feedback (RLHF) is a pivotal technique for aligning large language models (LLMs) with human preferences, yet it is susceptible to reward overoptimization, in which policy models overfit to the reward model, exploit spurious reward patterns instead of faithfully capturing human intent. Prior mitigations primarily relies on surface semantic information and fails to efficiently address the misalignment between the reward model (RM) and the policy model caused by continuous policy distribution shifts. This inevitably leads to an increasing reward discrepancy, exacerbating reward overoptimization. To address these limitations, we introduce R2M (Real-Time Aligned Reward Model), a novel lightweight RLHF framework. R2M goes beyond vanilla reward models that solely depend on the semantic representations of a pretrained LLM. Instead, it leverages the evolving hidden states of the policy (namely policy feedback) to align with the real-time distribution shift of the policy during the RL process. This work points to a promising new direction for improving the performance of reward models through real-time utilization of feedback from policy models.

リアルタイム意味整合報酬モデルの限界を超えて

Real-Time Aligned Reward Model beyond Semantics

要旨

Support