PILAF: Muestreo Óptimo de Preferencias Humanas para Modelado de Recompensas

PILAF: Optimal Human Preference Sampling for Reward Modeling

February 6, 2025

Autores: Yunzhen Feng, Ariel Kwiatkowski, Kunhao Zheng, Julia Kempe, Yaqi Duan

cs.AI

Resumen

A medida que los modelos de lenguaje grandes impulsan cada vez más aplicaciones del mundo real, alinearlos con los valores humanos se vuelve fundamental. El Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) ha surgido como una técnica clave, traduciendo datos de preferencia en modelos de recompensa cuando los valores humanos oráculo permanecen inaccesibles. En la práctica, el RLHF se basa principalmente en modelos de recompensa aproximados, los cuales pueden no guiar consistentemente la política hacia la maximización de los valores humanos subyacentes. Proponemos Aprendizaje Interpolado de Políticas para Retroalimentación Alineada (PILAF), una novedosa estrategia de muestreo de respuestas para etiquetado de preferencias que alinea explícitamente el aprendizaje de preferencias con la maximización de la recompensa oráculo subyacente. PILAF está fundamentado teóricamente, demostrando optimalidad desde una perspectiva tanto de optimización como estadística. El método es sencillo de implementar y muestra un rendimiento sólido en entornos iterativos y en línea de RLHF donde la curación de la retroalimentación es crítica.

English

As large language models increasingly drive real-world applications, aligning them with human values becomes paramount. Reinforcement Learning from Human Feedback (RLHF) has emerged as a key technique, translating preference data into reward models when oracle human values remain inaccessible. In practice, RLHF mostly relies on approximate reward models, which may not consistently guide the policy toward maximizing the underlying human values. We propose Policy-Interpolated Learning for Aligned Feedback (PILAF), a novel response sampling strategy for preference labeling that explicitly aligns preference learning with maximizing the underlying oracle reward. PILAF is theoretically grounded, demonstrating optimality from both an optimization and a statistical perspective. The method is straightforward to implement and demonstrates strong performance in iterative and online RLHF settings where feedback curation is critical.