Visões do Inverso: Reconstruindo Metas de Treinamento de LLM Através de RL Inversa

Insights from the Inverse: Reconstructing LLM Training Goals Through Inverse RL

October 16, 2024

Autores: Jared Joselowitz, Arjun Jagota, Satyapriya Krishna, Sonali Parbhoo

cs.AI

Resumo

Grandes modelos de linguagem (LLMs) treinados com Aprendizado por Reforço a partir do Feedback Humano (RLHF) têm demonstrado capacidades notáveis, mas suas funções de recompensa subjacentes e processos de tomada de decisão permanecem opacos. Este artigo apresenta uma abordagem inovadora para interpretar LLMs aplicando Aprendizado por Reforço Inverso (IRL) para recuperar suas funções de recompensa implícitas. Realizamos experimentos em LLMs alinhados com toxicidade de tamanhos variados, extraindo modelos de recompensa que alcançam até 80,40% de precisão na previsão de preferências humanas. Nossa análise revela insights importantes sobre a não identificabilidade de funções de recompensa, a relação entre o tamanho do modelo e a interpretabilidade, e possíveis armadilhas no processo RLHF. Demonstramos que modelos de recompensa derivados do IRL podem ser usados para ajustar novos LLMs, resultando em desempenho comparável ou melhor em benchmarks de toxicidade. Este trabalho fornece uma nova perspectiva para entender e melhorar o alinhamento de LLMs, com implicações para o desenvolvimento e implantação responsáveis desses sistemas poderosos.

English

Large language models (LLMs) trained with Reinforcement Learning from Human Feedback (RLHF) have demonstrated remarkable capabilities, but their underlying reward functions and decision-making processes remain opaque. This paper introduces a novel approach to interpreting LLMs by applying inverse reinforcement learning (IRL) to recover their implicit reward functions. We conduct experiments on toxicity-aligned LLMs of varying sizes, extracting reward models that achieve up to 80.40% accuracy in predicting human preferences. Our analysis reveals key insights into the non-identifiability of reward functions, the relationship between model size and interpretability, and potential pitfalls in the RLHF process. We demonstrate that IRL-derived reward models can be used to fine-tune new LLMs, resulting in comparable or improved performance on toxicity benchmarks. This work provides a new lens for understanding and improving LLM alignment, with implications for the responsible development and deployment of these powerful systems.