Einblicke aus der Umkehrung: Rekonstruktion von LLM-Trainingszielen durch inverse RL

Insights from the Inverse: Reconstructing LLM Training Goals Through Inverse RL

October 16, 2024

Autoren: Jared Joselowitz, Arjun Jagota, Satyapriya Krishna, Sonali Parbhoo

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs), die mit Verstärkendem Lernen aus menschlichem Feedback (RLHF) trainiert wurden, haben bemerkenswerte Fähigkeiten gezeigt, aber ihre zugrunde liegenden Belohnungsfunktionen und Entscheidungsprozesse bleiben undurchsichtig. Dieser Artikel stellt einen neuartigen Ansatz zur Interpretation von LLMs vor, indem inverse Verstärkungslernen (IRL) angewendet wird, um ihre impliziten Belohnungsfunktionen wiederherzustellen. Wir führen Experimente an Toxizitäts-ausgerichteten LLMs unterschiedlicher Größen durch und extrahieren Belohnungsmodelle, die bis zu 80,40% Genauigkeit bei der Vorhersage menschlicher Präferenzen erreichen. Unsere Analyse enthüllt wichtige Erkenntnisse zur Nicht-Identifizierbarkeit von Belohnungsfunktionen, der Beziehung zwischen Modellgröße und Interpretierbarkeit sowie potenziellen Fallstricken im RLHF-Prozess. Wir zeigen, dass durch IRL abgeleitete Belohnungsmodelle zur Feinabstimmung neuer LLMs verwendet werden können, was zu vergleichbarer oder verbesserter Leistung bei Toxizitäts-Benchmarks führt. Diese Arbeit bietet eine neue Perspektive zur Verständnis und Verbesserung der Ausrichtung von LLMs, mit Implikationen für die verantwortungsbewusste Entwicklung und Bereitstellung dieser leistungsstarken Systeme.

English

Large language models (LLMs) trained with Reinforcement Learning from Human Feedback (RLHF) have demonstrated remarkable capabilities, but their underlying reward functions and decision-making processes remain opaque. This paper introduces a novel approach to interpreting LLMs by applying inverse reinforcement learning (IRL) to recover their implicit reward functions. We conduct experiments on toxicity-aligned LLMs of varying sizes, extracting reward models that achieve up to 80.40% accuracy in predicting human preferences. Our analysis reveals key insights into the non-identifiability of reward functions, the relationship between model size and interpretability, and potential pitfalls in the RLHF process. We demonstrate that IRL-derived reward models can be used to fine-tune new LLMs, resulting in comparable or improved performance on toxicity benchmarks. This work provides a new lens for understanding and improving LLM alignment, with implications for the responsible development and deployment of these powerful systems.