Apprendimento Contrastivo delle Preferenze: Apprendimento dal Feedback Umano senza Apprendimento per Rinforzo

Contrastive Prefence Learning: Learning from Human Feedback without RL

October 20, 2023

Autori: Joey Hejna, Rafael Rafailov, Harshit Sikchi, Chelsea Finn, Scott Niekum, W. Bradley Knox, Dorsa Sadigh

cs.AI

Abstract

Il Reinforcement Learning from Human Feedback (RLHF) è emerso come un paradigma popolare per allineare i modelli con l'intento umano. Tipicamente, gli algoritmi RLHF operano in due fasi: prima, utilizzano le preferenze umane per apprendere una funzione di ricompensa e, in secondo luogo, allineano il modello ottimizzando la ricompensa appresa tramite il reinforcement learning (RL). Questo paradigma presuppone che le preferenze umane siano distribuite in base alla ricompensa, ma lavori recenti suggeriscono che invece seguano il rimpianto (regret) sotto la politica ottimale dell'utente. Pertanto, apprendere una funzione di ricompensa dal feedback non solo si basa su un'assunzione errata delle preferenze umane, ma porta anche a sfide di ottimizzazione complesse derivanti dai gradienti delle politiche o dal bootstrapping nella fase di RL. A causa di queste sfide di ottimizzazione, i metodi RLHF contemporanei si limitano a contesti di bandit contestuali (ad esempio, come nei grandi modelli linguistici) o riducono la dimensionalità delle osservazioni (ad esempio, nella robotica basata su stati). Superiamo queste limitazioni introducendo una nuova famiglia di algoritmi per ottimizzare il comportamento dal feedback umano utilizzando il modello basato sul rimpianto delle preferenze umane. Utilizzando il principio della massima entropia, deriviamo il Contrastive Preference Learning (CPL), un algoritmo per apprendere politiche ottimali dalle preferenze senza apprendere funzioni di ricompensa, aggirando la necessità del RL. Il CPL è completamente off-policy, utilizza solo un semplice obiettivo contrastivo e può essere applicato a MDP arbitrari. Ciò consente al CPL di scalare elegantemente a problemi RLHF sequenziali e ad alta dimensionalità, risultando più semplice rispetto ai metodi precedenti.

English

Reinforcement Learning from Human Feedback (RLHF) has emerged as a popular paradigm for aligning models with human intent. Typically RLHF algorithms operate in two phases: first, use human preferences to learn a reward function and second, align the model by optimizing the learned reward via reinforcement learning (RL). This paradigm assumes that human preferences are distributed according to reward, but recent work suggests that they instead follow the regret under the user's optimal policy. Thus, learning a reward function from feedback is not only based on a flawed assumption of human preference, but also leads to unwieldy optimization challenges that stem from policy gradients or bootstrapping in the RL phase. Because of these optimization challenges, contemporary RLHF methods restrict themselves to contextual bandit settings (e.g., as in large language models) or limit observation dimensionality (e.g., state-based robotics). We overcome these limitations by introducing a new family of algorithms for optimizing behavior from human feedback using the regret-based model of human preferences. Using the principle of maximum entropy, we derive Contrastive Preference Learning (CPL), an algorithm for learning optimal policies from preferences without learning reward functions, circumventing the need for RL. CPL is fully off-policy, uses only a simple contrastive objective, and can be applied to arbitrary MDPs. This enables CPL to elegantly scale to high-dimensional and sequential RLHF problems while being simpler than prior methods.