Ideas desde la inversa: Reconstruyendo los Objetivos de Entrenamiento de LLM a Través de Aprendizaje por Refuerzo Inverso

Insights from the Inverse: Reconstructing LLM Training Goals Through Inverse RL

October 16, 2024

Autores: Jared Joselowitz, Arjun Jagota, Satyapriya Krishna, Sonali Parbhoo

cs.AI

Resumen

Los grandes modelos de lenguaje (LLMs) entrenados con Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) han demostrado capacidades notables, pero sus funciones de recompensa subyacentes y procesos de toma de decisiones siguen siendo opacos. Este artículo introduce un enfoque novedoso para interpretar LLMs aplicando Aprendizaje Inverso por Refuerzo (IRL) para recuperar sus funciones de recompensa implícitas. Realizamos experimentos en LLMs alineados con toxicidad de diferentes tamaños, extrayendo modelos de recompensa que logran hasta un 80.40% de precisión en predecir las preferencias humanas. Nuestro análisis revela ideas clave sobre la no identificabilidad de las funciones de recompensa, la relación entre el tamaño del modelo y la interpretabilidad, y posibles problemas en el proceso de RLHF. Demostramos que los modelos de recompensa derivados de IRL pueden ser utilizados para ajustar finamente nuevos LLMs, lo que resulta en un rendimiento comparable o mejorado en pruebas de toxicidad. Este trabajo proporciona una nueva perspectiva para comprender y mejorar la alineación de LLMs, con implicaciones para el desarrollo y despliegue responsables de estos sistemas poderosos.

English

Large language models (LLMs) trained with Reinforcement Learning from Human Feedback (RLHF) have demonstrated remarkable capabilities, but their underlying reward functions and decision-making processes remain opaque. This paper introduces a novel approach to interpreting LLMs by applying inverse reinforcement learning (IRL) to recover their implicit reward functions. We conduct experiments on toxicity-aligned LLMs of varying sizes, extracting reward models that achieve up to 80.40% accuracy in predicting human preferences. Our analysis reveals key insights into the non-identifiability of reward functions, the relationship between model size and interpretability, and potential pitfalls in the RLHF process. We demonstrate that IRL-derived reward models can be used to fine-tune new LLMs, resulting in comparable or improved performance on toxicity benchmarks. This work provides a new lens for understanding and improving LLM alignment, with implications for the responsible development and deployment of these powerful systems.