PILAF: Amostragem Ótima de Preferências Humanas para Modelagem de Recompensas

PILAF: Optimal Human Preference Sampling for Reward Modeling

February 6, 2025

Autores: Yunzhen Feng, Ariel Kwiatkowski, Kunhao Zheng, Julia Kempe, Yaqi Duan

cs.AI

Resumo

À medida que os grandes modelos de linguagem impulsionam cada vez mais aplicações do mundo real, alinhá-los com os valores humanos torna-se fundamental. O Aprendizado por Reforço a partir de Feedback Humano (RLHF) surgiu como uma técnica-chave, traduzindo dados de preferência em modelos de recompensa quando os valores humanos do oráculo permanecem inacessíveis. Na prática, o RLHF geralmente depende de modelos de recompensa aproximados, que podem não guiar consistentemente a política para maximizar os valores humanos subjacentes. Propomos o Aprendizado Interpolado de Política para Feedback Alinhado (PILAF), uma nova estratégia de amostragem de respostas para rotulagem de preferência que alinha explicitamente a aprendizagem de preferência com a maximização da recompensa do oráculo subjacente. O PILAF é fundamentado teoricamente, demonstrando a optimalidade tanto de uma perspectiva de otimização quanto estatística. O método é simples de implementar e demonstra um desempenho sólido em configurações iterativas e online de RLHF, onde a curadoria do feedback é crítica.

English

As large language models increasingly drive real-world applications, aligning them with human values becomes paramount. Reinforcement Learning from Human Feedback (RLHF) has emerged as a key technique, translating preference data into reward models when oracle human values remain inaccessible. In practice, RLHF mostly relies on approximate reward models, which may not consistently guide the policy toward maximizing the underlying human values. We propose Policy-Interpolated Learning for Aligned Feedback (PILAF), a novel response sampling strategy for preference labeling that explicitly aligns preference learning with maximizing the underlying oracle reward. PILAF is theoretically grounded, demonstrating optimality from both an optimization and a statistical perspective. The method is straightforward to implement and demonstrates strong performance in iterative and online RLHF settings where feedback curation is critical.