PERL: Aprendizaje por Refuerzo Eficiente en Parámetros a partir de Retroalimentación Humana

PERL: Parameter Efficient Reinforcement Learning from Human Feedback

March 15, 2024

Autores: Hakim Sidahmed, Samrat Phatale, Alex Hutcheson, Zhuonan Lin, Zhang Chen, Zac Yu, Jarvis Jin, Roman Komarytsia, Christiane Ahlheim, Yonghao Zhu, Simral Chaudhary, Bowen Li, Saravanan Ganesh, Bill Byrne, Jessica Hoffmann, Hassan Mansoor, Wei Li, Abhinav Rastogi, Lucas Dixon

cs.AI

Resumen

El Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF, por sus siglas en inglés) ha demostrado ser un método eficaz para alinear Modelos de Lenguaje Preentrenados de Gran Escala (LLMs) con las preferencias humanas. Sin embargo, entrenar modelos con RLHF es computacionalmente costoso y un proceso complejo en general. En este trabajo, estudiamos RLHF donde los modelos subyacentes se entrenan utilizando el método eficiente en parámetros de Adaptación de Bajo Rango (LoRA), introducido por Hu et al. [2021]. Investigamos la configuración de "Aprendizaje por Refuerzo Eficiente en Parámetros" (PERL), en el cual realizamos el entrenamiento del modelo de recompensa y el aprendizaje por refuerzo utilizando LoRA. Comparamos PERL con el ajuste fino convencional (ajuste completo) en varias configuraciones para 7 puntos de referencia, incluyendo 2 nuevos conjuntos de datos, de modelado de recompensas y aprendizaje por refuerzo. Encontramos que PERL tiene un rendimiento comparable al ajuste convencional de RLHF, mientras que entrena más rápido y con menos memoria. Esto permite el alto rendimiento de RLHF, al mismo tiempo que reduce la carga computacional que limita su adopción como técnica de alineación para Modelos de Lenguaje de Gran Escala. También publicamos 2 nuevos conjuntos de datos de preferencias de pulgar arriba/abajo: "Taskmaster Coffee" y "Taskmaster Ticketing" para fomentar la investigación en torno a RLHF.

English

Reinforcement Learning from Human Feedback (RLHF) has proven to be a strong method to align Pretrained Large Language Models (LLMs) with human preferences. But training models with RLHF is computationally expensive, and an overall complex process. In this work, we study RLHF where the underlying models are trained using the parameter efficient method of Low-Rank Adaptation (LoRA) introduced by Hu et al. [2021]. We investigate the setup of "Parameter Efficient Reinforcement Learning" (PERL), in which we perform reward model training and reinforcement learning using LoRA. We compare PERL to conventional fine-tuning (full-tuning) across various configurations for 7 benchmarks, including 2 novel datasets, of reward modeling and reinforcement learning. We find that PERL performs on par with the conventional RLHF setting, while training faster, and with less memory. This enables the high performance of RLHF, while reducing the computational burden that limits its adoption as an alignment technique for Large Language Models. We also release 2 novel thumbs up/down preference datasets: "Taskmaster Coffee", and "Taskmaster Ticketing" to promote research around RLHF.