Approfondimenti dall'inverso: Ricostruzione degli Obiettivi di Addestramento di LLM Attraverso RL Inversa

Insights from the Inverse: Reconstructing LLM Training Goals Through Inverse RL

October 16, 2024

Autori: Jared Joselowitz, Arjun Jagota, Satyapriya Krishna, Sonali Parbhoo

cs.AI

Abstract

I grandi modelli linguistici (LLM) addestrati con Apprendimento per Rinforzo da Feedback Umano (RLHF) hanno dimostrato capacità notevoli, ma le loro funzioni di ricompensa sottostanti e i processi decisionali rimangono oscuri. Questo articolo introduce un nuovo approccio per interpretare i LLM applicando l'Apprendimento per Rinforzo Inverso (IRL) per recuperare le loro funzioni di ricompensa implicite. Conduciamo esperimenti su LLM allineati alla tossicità di dimensioni variabili, estraendo modelli di ricompensa che raggiungono fino all'80,40% di accuratezza nella previsione delle preferenze umane. La nostra analisi rivela importanti approfondimenti sulla non identificabilità delle funzioni di ricompensa, sulla relazione tra dimensione del modello e interpretabilità, e sui possibili rischi nel processo RLHF. Dimostriamo che i modelli di ricompensa derivati dall'IRL possono essere utilizzati per ottimizzare nuovi LLM, ottenendo prestazioni comparabili o migliorate nei benchmark di tossicità. Questo lavoro fornisce un nuovo punto di vista per comprendere e migliorare l'allineamento dei LLM, con implicazioni per lo sviluppo e la distribuzione responsabile di questi potenti sistemi.

English

Large language models (LLMs) trained with Reinforcement Learning from Human Feedback (RLHF) have demonstrated remarkable capabilities, but their underlying reward functions and decision-making processes remain opaque. This paper introduces a novel approach to interpreting LLMs by applying inverse reinforcement learning (IRL) to recover their implicit reward functions. We conduct experiments on toxicity-aligned LLMs of varying sizes, extracting reward models that achieve up to 80.40% accuracy in predicting human preferences. Our analysis reveals key insights into the non-identifiability of reward functions, the relationship between model size and interpretability, and potential pitfalls in the RLHF process. We demonstrate that IRL-derived reward models can be used to fine-tune new LLMs, resulting in comparable or improved performance on toxicity benchmarks. This work provides a new lens for understanding and improving LLM alignment, with implications for the responsible development and deployment of these powerful systems.