Aprendizaje de Preferencias Contrastivas: Aprendizaje a partir de Retroalimentación Humana sin Aprendizaje por Refuerzo

Contrastive Prefence Learning: Learning from Human Feedback without RL

October 20, 2023

Autores: Joey Hejna, Rafael Rafailov, Harshit Sikchi, Chelsea Finn, Scott Niekum, W. Bradley Knox, Dorsa Sadigh

cs.AI

Resumen

El Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF, por sus siglas en inglés) ha surgido como un paradigma popular para alinear modelos con la intención humana. Típicamente, los algoritmos de RLHF operan en dos fases: primero, utilizan preferencias humanas para aprender una función de recompensa y, segundo, alinean el modelo optimizando la recompensa aprendida mediante aprendizaje por refuerzo (RL). Este paradigma asume que las preferencias humanas se distribuyen según la recompensa, pero trabajos recientes sugieren que, en cambio, siguen el arrepentimiento bajo la política óptima del usuario. Por lo tanto, aprender una función de recompensa a partir de la retroalimentación no solo se basa en una suposición errónea sobre las preferencias humanas, sino que también conlleva desafíos de optimización difíciles de manejar que surgen de los gradientes de política o el bootstrapping en la fase de RL. Debido a estos desafíos de optimización, los métodos contemporáneos de RLHF se limitan a configuraciones de bandidos contextuales (por ejemplo, en modelos de lenguaje grandes) o restringen la dimensionalidad de las observaciones (por ejemplo, en robótica basada en estados). Superamos estas limitaciones introduciendo una nueva familia de algoritmos para optimizar el comportamiento a partir de la retroalimentación humana utilizando el modelo basado en arrepentimiento de las preferencias humanas. Utilizando el principio de máxima entropía, derivamos el Aprendizaje de Preferencias Contrastivas (CPL, por sus siglas en inglés), un algoritmo para aprender políticas óptimas a partir de preferencias sin necesidad de aprender funciones de recompensa, evitando así la necesidad de RL. CPL es completamente fuera de política, utiliza solo un objetivo contrastivo simple y puede aplicarse a MDPs arbitrarios. Esto permite que CPL escale elegantemente a problemas de RLHF de alta dimensionalidad y secuenciales, siendo más simple que los métodos anteriores.

English

Reinforcement Learning from Human Feedback (RLHF) has emerged as a popular paradigm for aligning models with human intent. Typically RLHF algorithms operate in two phases: first, use human preferences to learn a reward function and second, align the model by optimizing the learned reward via reinforcement learning (RL). This paradigm assumes that human preferences are distributed according to reward, but recent work suggests that they instead follow the regret under the user's optimal policy. Thus, learning a reward function from feedback is not only based on a flawed assumption of human preference, but also leads to unwieldy optimization challenges that stem from policy gradients or bootstrapping in the RL phase. Because of these optimization challenges, contemporary RLHF methods restrict themselves to contextual bandit settings (e.g., as in large language models) or limit observation dimensionality (e.g., state-based robotics). We overcome these limitations by introducing a new family of algorithms for optimizing behavior from human feedback using the regret-based model of human preferences. Using the principle of maximum entropy, we derive Contrastive Preference Learning (CPL), an algorithm for learning optimal policies from preferences without learning reward functions, circumventing the need for RL. CPL is fully off-policy, uses only a simple contrastive objective, and can be applied to arbitrary MDPs. This enables CPL to elegantly scale to high-dimensional and sequential RLHF problems while being simpler than prior methods.