Die Kehrseite von RLHF: On-Policy-Feedback zur selbstüberwachten Verbesserung des Belohnungsmodells

Zusammenfassung

Der Aufbau starker Belohnungsmodelle (Reward Models, RMs) für die Ausrichtung von Sprachmodellen wird durch die Kosten und Schwierigkeiten bei der Beschaffung diverser und zuverlässiger Präferenzdaten aus menschlichen Annotationen oder Bewertungsmodellen limitiert. Dies wird dramatisch verschärft, sobald sich die Policy über das statische RM-Training hinaus weiterentwickelt. Daher schlagen wir SAVE (Self-supervised reward model improvement via Value-Anchored On-policy feedback) vor, ein Framework, das On-Policy-Antworten als Feedback mittels der Wertfunktion für das On-Policy-RM-Training bewertet. SAVE wandelt die belohnungsbewerteten On-Policy-Antworten auf natürliche Weise in eine Überwachung um, indem ein promptspezifischer Wertkopf als adaptiver Anker dient. Es berechnet RM-Vorteile (RM advantages) und filtert mehrdeutige Stichproben, um das RM über ein kontrastives Ziel zu aktualisieren. Die Wirksamkeit von SAVE zur Verbesserung des RM-Trainings wird durch strenge empirische Auswertungen über sechs verschiedene Benchmarks hinweg stark bestätigt. Es erzielt über alle Datensätze hinweg überlegene Ergebnisse, während konsistente Verbesserungen über drei RL-Algorithmen (GRPO, RLOO, GSPO) und verschiedene Policy-Backbones hinweg beibehalten werden.

English

Building strong reward models (RMs) for language model alignment is bottlenecked by the cost and difficulty of acquiring diverse and reliable preference data from human annotation or judge models. It is dramatically worse as the policy evolves beyond the static RM training. Therefore, we propose SAVE (Self-supervised reward model improvement via Value-Anchored On-policy feedback), a framework that grades on-policy responses as feedback by using the value function for on-policy RM training. SAVE naturally converts the reward-graded on-policy responses into supervision with a prompt-specific value head as an adaptive anchor. It computes RM advantages and filters ambiguous samples to update the RM via a contrastive objective. The effectiveness of SAVE for enhancing RM training is strongly validated through rigorous empirical evaluation across six diverse benchmarks. It achieves outperforming results across all datasets while maintaining consistent improvements across three RL algorithms (GRPO, RLOO, GSPO) and different policy backbones.