Perspectives de l'inverse : Reconstruction des objectifs de formation des LLM grâce à l'apprentissage par renforcement inverse

Insights from the Inverse: Reconstructing LLM Training Goals Through Inverse RL

October 16, 2024

Auteurs: Jared Joselowitz, Arjun Jagota, Satyapriya Krishna, Sonali Parbhoo

cs.AI

Résumé

Les grands modèles de langage (LLM) entraînés avec l'apprentissage par renforcement à partir des retours humains (RLHF) ont démontré des capacités remarquables, mais leurs fonctions de récompense sous-jacentes et leurs processus de prise de décision restent opaques. Cet article présente une nouvelle approche pour interpréter les LLM en appliquant l'apprentissage par renforcement inverse (IRL) pour récupérer leurs fonctions de récompense implicites. Nous menons des expériences sur des LLM alignés sur la toxicité de tailles variables, extrayant des modèles de récompense qui atteignent jusqu'à 80,40 % de précision dans la prédiction des préférences humaines. Notre analyse révèle des informations clés sur la non-identifiabilité des fonctions de récompense, la relation entre la taille du modèle et son interprétabilité, ainsi que les écueils potentiels dans le processus RLHF. Nous démontrons que les modèles de récompense dérivés de l'IRL peuvent être utilisés pour affiner de nouveaux LLM, aboutissant à des performances comparables ou améliorées sur des référentiels de toxicité. Ce travail offre un nouvel éclairage pour comprendre et améliorer l'alignement des LLM, avec des implications pour le développement et le déploiement responsables de ces systèmes puissants.

English

Large language models (LLMs) trained with Reinforcement Learning from Human Feedback (RLHF) have demonstrated remarkable capabilities, but their underlying reward functions and decision-making processes remain opaque. This paper introduces a novel approach to interpreting LLMs by applying inverse reinforcement learning (IRL) to recover their implicit reward functions. We conduct experiments on toxicity-aligned LLMs of varying sizes, extracting reward models that achieve up to 80.40% accuracy in predicting human preferences. Our analysis reveals key insights into the non-identifiability of reward functions, the relationship between model size and interpretability, and potential pitfalls in the RLHF process. We demonstrate that IRL-derived reward models can be used to fine-tune new LLMs, resulting in comparable or improved performance on toxicity benchmarks. This work provides a new lens for understanding and improving LLM alignment, with implications for the responsible development and deployment of these powerful systems.