Контрастное обучение предпочтениям: обучение на основе обратной связи от человека без использования обучения с подкреплением

Contrastive Prefence Learning: Learning from Human Feedback without RL

October 20, 2023

Авторы: Joey Hejna, Rafael Rafailov, Harshit Sikchi, Chelsea Finn, Scott Niekum, W. Bradley Knox, Dorsa Sadigh

cs.AI

Аннотация

Обучение с подкреплением на основе человеческой обратной связи (RLHF) стало популярной парадигмой для согласования моделей с человеческими намерениями. Обычно алгоритмы RLHF работают в два этапа: сначала используют человеческие предпочтения для обучения функции вознаграждения, а затем согласовывают модель, оптимизируя полученное вознаграждение с помощью обучения с подкреплением (RL). Эта парадигма предполагает, что человеческие предпочтения распределены в соответствии с вознаграждением, однако последние исследования показывают, что они скорее следуют сожалению относительно оптимальной политики пользователя. Таким образом, обучение функции вознаграждения на основе обратной связи не только основано на ошибочном предположении о человеческих предпочтениях, но и приводит к сложным задачам оптимизации, возникающим из-за градиентов политики или бутстрэппинга на этапе RL. Из-за этих проблем оптимизации современные методы RLHF ограничиваются контекстными бандитскими настройками (например, в крупных языковых моделях) или ограничивают размерность наблюдений (например, в робототехнике, основанной на состояниях). Мы преодолеваем эти ограничения, представляя новое семейство алгоритмов для оптимизации поведения на основе человеческой обратной связи с использованием модели сожаления для описания предпочтений. Используя принцип максимальной энтропии, мы выводим Контрастное обучение на основе предпочтений (CPL) — алгоритм для обучения оптимальных политик из предпочтений без необходимости обучения функции вознаграждения, что позволяет обойтись без RL. CPL полностью внеполитичен, использует только простую контрастную цель и может применяться к произвольным марковским процессам принятия решений (MDP). Это позволяет CPL эффективно масштабироваться на задачи RLHF с высокой размерностью и последовательными решениями, оставаясь при этом проще, чем предыдущие методы.

English

Reinforcement Learning from Human Feedback (RLHF) has emerged as a popular paradigm for aligning models with human intent. Typically RLHF algorithms operate in two phases: first, use human preferences to learn a reward function and second, align the model by optimizing the learned reward via reinforcement learning (RL). This paradigm assumes that human preferences are distributed according to reward, but recent work suggests that they instead follow the regret under the user's optimal policy. Thus, learning a reward function from feedback is not only based on a flawed assumption of human preference, but also leads to unwieldy optimization challenges that stem from policy gradients or bootstrapping in the RL phase. Because of these optimization challenges, contemporary RLHF methods restrict themselves to contextual bandit settings (e.g., as in large language models) or limit observation dimensionality (e.g., state-based robotics). We overcome these limitations by introducing a new family of algorithms for optimizing behavior from human feedback using the regret-based model of human preferences. Using the principle of maximum entropy, we derive Contrastive Preference Learning (CPL), an algorithm for learning optimal policies from preferences without learning reward functions, circumventing the need for RL. CPL is fully off-policy, uses only a simple contrastive objective, and can be applied to arbitrary MDPs. This enables CPL to elegantly scale to high-dimensional and sequential RLHF problems while being simpler than prior methods.