ПИЛАФ: Оптимальная выборка предпочтений человека для моделирования вознаграждения

PILAF: Optimal Human Preference Sampling for Reward Modeling

February 6, 2025

Авторы: Yunzhen Feng, Ariel Kwiatkowski, Kunhao Zheng, Julia Kempe, Yaqi Duan

cs.AI

Аннотация

Поскольку большие языковые модели все чаще используются в реальных приложениях, выравнивание их с человеческими ценностями становится важным. Обучение с подкреплением на основе обратной связи от человека (RLHF) выдвигается в качестве ключевой техники, преобразующей данные о предпочтениях в модели вознаграждения, когда оракул человеческих ценностей остается недоступным. На практике RLHF в основном полагается на приближенные модели вознаграждения, которые могут не всегда направлять политику на максимизацию лежащих в основе человеческих ценностей. Мы предлагаем метод обучения с интерполяцией политики для выравнивания обратной связи (PILAF), новую стратегию выборки ответов для маркировки предпочтений, которая явно выравнивает обучение предпочтениям с максимизацией лежащего в основе оракула вознаграждения. PILAF теоретически обоснован и демонстрирует оптимальность как с точки зрения оптимизации, так и статистики. Метод легко реализуется и показывает высокую производительность в итеративных и онлайн настройках RLHF, где кураторство обратной связи критично.

English

As large language models increasingly drive real-world applications, aligning them with human values becomes paramount. Reinforcement Learning from Human Feedback (RLHF) has emerged as a key technique, translating preference data into reward models when oracle human values remain inaccessible. In practice, RLHF mostly relies on approximate reward models, which may not consistently guide the policy toward maximizing the underlying human values. We propose Policy-Interpolated Learning for Aligned Feedback (PILAF), a novel response sampling strategy for preference labeling that explicitly aligns preference learning with maximizing the underlying oracle reward. PILAF is theoretically grounded, demonstrating optimality from both an optimization and a statistical perspective. The method is straightforward to implement and demonstrates strong performance in iterative and online RLHF settings where feedback curation is critical.