PILAF: Optimale Menselijke Voorkeurssteekproef voor Beloningsmodellering

PILAF: Optimal Human Preference Sampling for Reward Modeling

February 6, 2025

Auteurs: Yunzhen Feng, Ariel Kwiatkowski, Kunhao Zheng, Julia Kempe, Yaqi Duan

cs.AI

Samenvatting

Nu grote taalmodellen steeds meer echte toepassingen aansturen, wordt het van cruciaal belang om ze af te stemmen op menselijke waarden. Versterkend Leren van Menselijke Feedback (RLHF) is naar voren gekomen als een belangrijke techniek, waarbij voorkeursgegevens worden omgezet in beloningsmodellen wanneer de menselijke waarden van het orakel niet toegankelijk zijn. In de praktijk vertrouwt RLHF voornamelijk op benaderende beloningsmodellen, die de beleidslijn mogelijk niet consequent sturen naar het maximaliseren van de onderliggende menselijke waarden. Wij stellen Policy-Interpolated Learning for Aligned Feedback (PILAF) voor, een nieuwe responssteekproefstrategie voor voorkeurslabeling die de voorkeurslering expliciet afstemt op het maximaliseren van de onderliggende orakelbeloning. PILAF is theoretisch gefundeerd en toont optimaliteit vanuit zowel een optimalisatie- als een statistisch perspectief. De methode is eenvoudig te implementeren en vertoont sterke prestaties in iteratieve en online RLHF-instellingen waar feedbackcuratie cruciaal is.

English

As large language models increasingly drive real-world applications, aligning them with human values becomes paramount. Reinforcement Learning from Human Feedback (RLHF) has emerged as a key technique, translating preference data into reward models when oracle human values remain inaccessible. In practice, RLHF mostly relies on approximate reward models, which may not consistently guide the policy toward maximizing the underlying human values. We propose Policy-Interpolated Learning for Aligned Feedback (PILAF), a novel response sampling strategy for preference labeling that explicitly aligns preference learning with maximizing the underlying oracle reward. PILAF is theoretically grounded, demonstrating optimality from both an optimization and a statistical perspective. The method is straightforward to implement and demonstrates strong performance in iterative and online RLHF settings where feedback curation is critical.