Kontrastives Präferenzlernen: Lernen aus menschlichem Feedback ohne Reinforcement Learning

Contrastive Prefence Learning: Learning from Human Feedback without RL

October 20, 2023

Autoren: Joey Hejna, Rafael Rafailov, Harshit Sikchi, Chelsea Finn, Scott Niekum, W. Bradley Knox, Dorsa Sadigh

cs.AI

Zusammenfassung

Reinforcement Learning from Human Feedback (RLHF) hat sich als ein beliebtes Paradigma zur Ausrichtung von Modellen an menschlichen Absichten etabliert. Typischerweise operieren RLHF-Algorithmen in zwei Phasen: Zuerst werden menschliche Präferenzen verwendet, um eine Belohnungsfunktion zu lernen, und anschließend wird das Modell durch Optimierung der gelernten Belohnung mittels Reinforcement Learning (RL) ausgerichtet. Dieses Paradigma geht davon aus, dass menschliche Präferenzen gemäß der Belohnung verteilt sind, doch neuere Arbeiten deuten darauf hin, dass sie stattdessen dem Bedauern (Regret) unter der optimalen Politik des Nutzers folgen. Daher basiert das Lernen einer Belohnungsfunktion aus Feedback nicht nur auf einer fehlerhaften Annahme über menschliche Präferenzen, sondern führt auch zu komplexen Optimierungsherausforderungen, die sich aus Policy-Gradienten oder Bootstrapping in der RL-Phase ergeben. Aufgrund dieser Optimierungsherausforderungen beschränken sich zeitgenössische RLHF-Methoden auf Kontexte wie kontextuelle Banditen (z. B. bei großen Sprachmodellen) oder begrenzen die Beobachtungsdimensionalität (z. B. bei zustandsbasierten Robotiksystemen). Wir überwinden diese Einschränkungen, indem wir eine neue Familie von Algorithmen zur Optimierung von Verhalten aus menschlichem Feedback einführen, die auf dem Bedauern-basierten Modell menschlicher Präferenzen basiert. Unter Verwendung des Prinzips der maximalen Entropie leiten wir Contrastive Preference Learning (CPL) ab, einen Algorithmus zum Lernen optimaler Politiken aus Präferenzen, ohne Belohnungsfunktionen zu lernen, wodurch die Notwendigkeit von RL umgangen wird. CPL ist vollständig off-policy, verwendet nur ein einfaches kontrastives Ziel und kann auf beliebige MDPs angewendet werden. Dies ermöglicht es CPL, elegant auf hochdimensionale und sequenzielle RLHF-Probleme zu skalieren, während es einfacher ist als bisherige Methoden.

English

Reinforcement Learning from Human Feedback (RLHF) has emerged as a popular paradigm for aligning models with human intent. Typically RLHF algorithms operate in two phases: first, use human preferences to learn a reward function and second, align the model by optimizing the learned reward via reinforcement learning (RL). This paradigm assumes that human preferences are distributed according to reward, but recent work suggests that they instead follow the regret under the user's optimal policy. Thus, learning a reward function from feedback is not only based on a flawed assumption of human preference, but also leads to unwieldy optimization challenges that stem from policy gradients or bootstrapping in the RL phase. Because of these optimization challenges, contemporary RLHF methods restrict themselves to contextual bandit settings (e.g., as in large language models) or limit observation dimensionality (e.g., state-based robotics). We overcome these limitations by introducing a new family of algorithms for optimizing behavior from human feedback using the regret-based model of human preferences. Using the principle of maximum entropy, we derive Contrastive Preference Learning (CPL), an algorithm for learning optimal policies from preferences without learning reward functions, circumventing the need for RL. CPL is fully off-policy, uses only a simple contrastive objective, and can be applied to arbitrary MDPs. This enables CPL to elegantly scale to high-dimensional and sequential RLHF problems while being simpler than prior methods.