Обратная сторона RLHF: Обратная связь на основе текущей политики для самоконтролируемого улучшения модели вознаграждения

Аннотация

Построение надежных моделей вознаграждения (RM) для выравнивания языковых моделей ограничено стоимостью и сложностью получения разнообразных и надежных данных о предпочтениях от аннотаторов-людей или моделей-оценщиков. Ситуация значительно ухудшается по мере того, как эволюционирующая политика выходит за пределы статического обучения RM. В связи с этим мы предлагаем SAVE (Self-supervised reward model improvement via Value-Anchored On-policy feedback) — фреймворк, который оценивает ответы текущей политики (on-policy) в качестве обратной связи, используя функцию ценности для обучения RM на данных текущей политики. SAVE естественным образом преобразует оцененные по вознаграждению ответы текущей политики в обучающий сигнал с помощью специфической для запроса головы ценности, выступающей в роли адаптивного якоря. Он вычисляет преимущества RM и фильтрует неоднозначные примеры для обновления RM с использованием контрастивной целевой функции. Эффективность SAVE для улучшения обучения RM убедительно подтверждена строгими эмпирическими оценками на шести различных бенчмарках. Предложенный метод достигает превосходных результатов на всех наборах данных, демонстрируя при этом стабильное улучшение для трех алгоритмов RL (GRPO, RLOO, GSPO) и различных базовых политик.

English

Building strong reward models (RMs) for language model alignment is bottlenecked by the cost and difficulty of acquiring diverse and reliable preference data from human annotation or judge models. It is dramatically worse as the policy evolves beyond the static RM training. Therefore, we propose SAVE (Self-supervised reward model improvement via Value-Anchored On-policy feedback), a framework that grades on-policy responses as feedback by using the value function for on-policy RM training. SAVE naturally converts the reward-graded on-policy responses into supervision with a prompt-specific value head as an adaptive anchor. It computes RM advantages and filters ambiguous samples to update the RM via a contrastive objective. The effectiveness of SAVE for enhancing RM training is strongly validated through rigorous empirical evaluation across six diverse benchmarks. It achieves outperforming results across all datasets while maintaining consistent improvements across three RL algorithms (GRPO, RLOO, GSPO) and different policy backbones.