Apprentissage Préférentiel Contrastif : Apprentissage à partir de retours humains sans apprentissage par renforcement

Contrastive Prefence Learning: Learning from Human Feedback without RL

October 20, 2023

Auteurs: Joey Hejna, Rafael Rafailov, Harshit Sikchi, Chelsea Finn, Scott Niekum, W. Bradley Knox, Dorsa Sadigh

cs.AI

Résumé

L'apprentissage par renforcement à partir de retours humains (RLHF) est devenu un paradigme populaire pour aligner les modèles sur les intentions humaines. Typiquement, les algorithmes RLHF fonctionnent en deux phases : d'abord, ils utilisent les préférences humaines pour apprendre une fonction de récompense, puis alignent le modèle en optimisant la récompense apprise via l'apprentissage par renforcement (RL). Ce paradigme suppose que les préférences humaines sont distribuées selon la récompense, mais des travaux récents suggèrent qu'elles suivent plutôt le regret sous la politique optimale de l'utilisateur. Ainsi, apprendre une fonction de récompense à partir de retours repose non seulement sur une hypothèse erronée des préférences humaines, mais entraîne également des défis d'optimisation complexes liés aux gradients de politique ou au bootstrap dans la phase RL. En raison de ces défis, les méthodes RLHF contemporaines se limitent à des contextes de bandits contextuels (par exemple, dans les grands modèles de langage) ou réduisent la dimensionnalité des observations (par exemple, en robotique basée sur l'état). Nous surmontons ces limitations en introduisant une nouvelle famille d'algorithmes pour optimiser le comportement à partir de retours humains en utilisant le modèle de préférences humaines basé sur le regret. En appliquant le principe d'entropie maximale, nous dérivons l'apprentissage contrastif des préférences (CPL), un algorithme pour apprendre des politiques optimales à partir de préférences sans apprendre de fonctions de récompense, évitant ainsi le besoin de RL. CPL est entièrement hors-politique, utilise uniquement un objectif contrastif simple, et peut être appliqué à des MDP arbitraires. Cela permet à CPL de s'adapter élégamment aux problèmes RLHF séquentiels et de haute dimension tout en étant plus simple que les méthodes précédentes.

English

Reinforcement Learning from Human Feedback (RLHF) has emerged as a popular paradigm for aligning models with human intent. Typically RLHF algorithms operate in two phases: first, use human preferences to learn a reward function and second, align the model by optimizing the learned reward via reinforcement learning (RL). This paradigm assumes that human preferences are distributed according to reward, but recent work suggests that they instead follow the regret under the user's optimal policy. Thus, learning a reward function from feedback is not only based on a flawed assumption of human preference, but also leads to unwieldy optimization challenges that stem from policy gradients or bootstrapping in the RL phase. Because of these optimization challenges, contemporary RLHF methods restrict themselves to contextual bandit settings (e.g., as in large language models) or limit observation dimensionality (e.g., state-based robotics). We overcome these limitations by introducing a new family of algorithms for optimizing behavior from human feedback using the regret-based model of human preferences. Using the principle of maximum entropy, we derive Contrastive Preference Learning (CPL), an algorithm for learning optimal policies from preferences without learning reward functions, circumventing the need for RL. CPL is fully off-policy, uses only a simple contrastive objective, and can be applied to arbitrary MDPs. This enables CPL to elegantly scale to high-dimensional and sequential RLHF problems while being simpler than prior methods.