De keerzijde van RLHF: On-policy feedback voor zelfgestuurde verbetering van beloningsmodellen

Samenvatting

Het bouwen van sterke beloningsmodellen (RMs) voor de afstemming van taalmodellen wordt geflankeerd door de kosten en moeilijkheid van het verkrijgen van diverse en betrouwbare voorkeursgegevens uit menselijke annotatie of beoordelingsmodellen. Dit wordt dramatisch slechter naarmate het beleid evolueert voorbij de statische RM-training. Daarom stellen we SAVE voor (zelfgestuurde verbetering van beloningsmodellen via waardeverankerde on-policy feedback), een raamwerk dat on-policy reacties beoordeelt als feedback door de waardefunctie te gebruiken voor on-policy RM-training. SAVE zet de beloningsgegradeerde on-policy reacties op natuurlijke wijze om in supervisie met een promptspecifieke waardekop als adaptief anker. Het berekent RM-voordelen en filtert ambigue samples om de RM bij te werken via een contrastief doel. De effectiviteit van SAVE voor het verbeteren van RM-training wordt sterk gevalideerd door rigoureuze empirische evaluatie over zes diverse benchmarks. Het behaalt betere resultaten over alle datasets terwijl het consistente verbeteringen handhaaft over drie RL-algoritmen (GRPO, RLOO, GSPO) en verschillende beleidsbackbones.

English

Building strong reward models (RMs) for language model alignment is bottlenecked by the cost and difficulty of acquiring diverse and reliable preference data from human annotation or judge models. It is dramatically worse as the policy evolves beyond the static RM training. Therefore, we propose SAVE (Self-supervised reward model improvement via Value-Anchored On-policy feedback), a framework that grades on-policy responses as feedback by using the value function for on-policy RM training. SAVE naturally converts the reward-graded on-policy responses into supervision with a prompt-specific value head as an adaptive anchor. It computes RM advantages and filters ambiguous samples to update the RM via a contrastive objective. The effectiveness of SAVE for enhancing RM training is strongly validated through rigorous empirical evaluation across six diverse benchmarks. It achieves outperforming results across all datasets while maintaining consistent improvements across three RL algorithms (GRPO, RLOO, GSPO) and different policy backbones.