Contrastief Voorkeursleren: Leren van Menselijke Feedback zonder Reinforcement Learning

Contrastive Prefence Learning: Learning from Human Feedback without RL

October 20, 2023

Auteurs: Joey Hejna, Rafael Rafailov, Harshit Sikchi, Chelsea Finn, Scott Niekum, W. Bradley Knox, Dorsa Sadigh

cs.AI

Samenvatting

Reinforcement Learning from Human Feedback (RLHF) is naar voren gekomen als een populair paradigma voor het afstemmen van modellen op menselijke intenties. Typisch werken RLHF-algoritmen in twee fasen: eerst gebruiken ze menselijke voorkeuren om een beloningsfunctie te leren, en vervolgens stemmen ze het model af door de geleerde beloning te optimaliseren via reinforcement learning (RL). Dit paradigma gaat ervan uit dat menselijke voorkeuren verdeeld zijn volgens de beloning, maar recent onderzoek suggereert dat ze in plaats daarvan de spijt onder het optimale beleid van de gebruiker volgen. Het leren van een beloningsfunctie op basis van feedback is dus niet alleen gebaseerd op een gebrekkige aanname van menselijke voorkeur, maar leidt ook tot lastige optimalisatie-uitdagingen die voortkomen uit beleidsgradiënten of bootstrapping in de RL-fase. Vanwege deze optimalisatie-uitdagingen beperken hedendaagse RLHF-methoden zich tot contextuele bandit-instellingen (bijvoorbeeld in grote taalmodellen) of beperken ze de observatiedimensionaliteit (bijvoorbeeld state-gebaseerde robotica). Wij overwinnen deze beperkingen door een nieuwe familie van algoritmen te introduceren voor het optimaliseren van gedrag op basis van menselijke feedback met behulp van het spijtgebaseerde model van menselijke voorkeuren. Met behulp van het principe van maximale entropie leiden we Contrastive Preference Learning (CPL) af, een algoritme voor het leren van optimale beleidsregels uit voorkeuren zonder beloningsfuncties te leren, waardoor de noodzaak voor RL wordt omzeild. CPL is volledig off-policy, gebruikt alleen een eenvoudig contrastief doel en kan worden toegepast op willekeurige MDP's. Hierdoor kan CPL elegant schalen naar hoogdimensionale en sequentiële RLHF-problemen, terwijl het eenvoudiger is dan eerdere methoden.

English

Reinforcement Learning from Human Feedback (RLHF) has emerged as a popular paradigm for aligning models with human intent. Typically RLHF algorithms operate in two phases: first, use human preferences to learn a reward function and second, align the model by optimizing the learned reward via reinforcement learning (RL). This paradigm assumes that human preferences are distributed according to reward, but recent work suggests that they instead follow the regret under the user's optimal policy. Thus, learning a reward function from feedback is not only based on a flawed assumption of human preference, but also leads to unwieldy optimization challenges that stem from policy gradients or bootstrapping in the RL phase. Because of these optimization challenges, contemporary RLHF methods restrict themselves to contextual bandit settings (e.g., as in large language models) or limit observation dimensionality (e.g., state-based robotics). We overcome these limitations by introducing a new family of algorithms for optimizing behavior from human feedback using the regret-based model of human preferences. Using the principle of maximum entropy, we derive Contrastive Preference Learning (CPL), an algorithm for learning optimal policies from preferences without learning reward functions, circumventing the need for RL. CPL is fully off-policy, uses only a simple contrastive objective, and can be applied to arbitrary MDPs. This enables CPL to elegantly scale to high-dimensional and sequential RLHF problems while being simpler than prior methods.