PILAF: Optimale menschliche Präferenzstichproben für die Modellierung von Belohnungen

PILAF: Optimal Human Preference Sampling for Reward Modeling

February 6, 2025

Autoren: Yunzhen Feng, Ariel Kwiatkowski, Kunhao Zheng, Julia Kempe, Yaqi Duan

cs.AI

Zusammenfassung

Mit dem zunehmenden Einsatz großer Sprachmodelle in realen Anwendungen wird es immer wichtiger, sie mit menschlichen Werten in Einklang zu bringen. Die Verstärkungslernmethode aus menschlichem Feedback (RLHF) hat sich als eine Schlüsseltechnik etabliert, die Präferenzdaten in Belohnungsmodelle übersetzt, wenn die menschlichen Werte des Orakels unzugänglich bleiben. In der Praxis stützt sich RLHF hauptsächlich auf approximierte Belohnungsmodelle, die möglicherweise nicht konsistent die Richtlinie zur Maximierung der zugrunde liegenden menschlichen Werte führen. Wir schlagen Policy-Interpolated Learning for Aligned Feedback (PILAF) vor, eine neuartige Strategie zur Antwortauswahl für die Präferenzkennzeichnung, die die Präferenzlernen explizit mit der Maximierung der zugrunde liegenden Orakelbelohnung in Einklang bringt. PILAF ist theoretisch fundiert und zeigt Optimierung sowohl aus einer Optimierungs- als auch aus einer statistischen Perspektive. Die Methode ist einfach umzusetzen und zeigt starke Leistungen in iterativen und Online-RLHF-Umgebungen, in denen die Rückmeldungskuration entscheidend ist.

English

As large language models increasingly drive real-world applications, aligning them with human values becomes paramount. Reinforcement Learning from Human Feedback (RLHF) has emerged as a key technique, translating preference data into reward models when oracle human values remain inaccessible. In practice, RLHF mostly relies on approximate reward models, which may not consistently guide the policy toward maximizing the underlying human values. We propose Policy-Interpolated Learning for Aligned Feedback (PILAF), a novel response sampling strategy for preference labeling that explicitly aligns preference learning with maximizing the underlying oracle reward. PILAF is theoretically grounded, demonstrating optimality from both an optimization and a statistical perspective. The method is straightforward to implement and demonstrates strong performance in iterative and online RLHF settings where feedback curation is critical.