PERL: Параметрически эффективное обучение с подкреплением на основе обратной связи человека

PERL: Parameter Efficient Reinforcement Learning from Human Feedback

March 15, 2024

Авторы: Hakim Sidahmed, Samrat Phatale, Alex Hutcheson, Zhuonan Lin, Zhang Chen, Zac Yu, Jarvis Jin, Roman Komarytsia, Christiane Ahlheim, Yonghao Zhu, Simral Chaudhary, Bowen Li, Saravanan Ganesh, Bill Byrne, Jessica Hoffmann, Hassan Mansoor, Wei Li, Abhinav Rastogi, Lucas Dixon

cs.AI

Аннотация

Обучение с подкреплением на основе обратной связи от человека (RLHF) доказало свою эффективность как сильный метод для согласования Предварительно обученных Больших Языковых Моделей (LLM) с предпочтениями человека. Однако обучение моделей с использованием RLHF является вычислительно затратным и в целом сложным процессом. В данной работе мы изучаем RLHF, в котором базовые модели обучаются с использованием метода эффективного по параметрам метода Низкоранговой Адаптации (LoRA), представленного Ху и др. [2021]. Мы исследуем настройку "Параметрически эффективного обучения с подкреплением" (PERL), в рамках которой мы проводим обучение модели вознаграждения и обучение с подкреплением с использованием LoRA. Мы сравниваем PERL с традиционной настройкой тонкой настройки (полной настройки) на различных конфигурациях для 7 бенчмарков, включая 2 новых набора данных, для моделирования вознаграждения и обучения с подкреплением. Мы обнаружили, что PERL показывает результаты на уровне традиционной настройки RLHF, при этом обучается быстрее и требует меньше памяти. Это обеспечивает высокую производительность RLHF, снижая вычислительную нагрузку, которая ограничивает его применение как метода согласования для Больших Языковых Моделей. Мы также представляем 2 новых набора данных с предпочтениями "палец вверх/палец вниз": "Taskmaster Coffee" и "Taskmaster Ticketing", чтобы содействовать исследованиям в области RLHF.

English

Reinforcement Learning from Human Feedback (RLHF) has proven to be a strong method to align Pretrained Large Language Models (LLMs) with human preferences. But training models with RLHF is computationally expensive, and an overall complex process. In this work, we study RLHF where the underlying models are trained using the parameter efficient method of Low-Rank Adaptation (LoRA) introduced by Hu et al. [2021]. We investigate the setup of "Parameter Efficient Reinforcement Learning" (PERL), in which we perform reward model training and reinforcement learning using LoRA. We compare PERL to conventional fine-tuning (full-tuning) across various configurations for 7 benchmarks, including 2 novel datasets, of reward modeling and reinforcement learning. We find that PERL performs on par with the conventional RLHF setting, while training faster, and with less memory. This enables the high performance of RLHF, while reducing the computational burden that limits its adoption as an alignment technique for Large Language Models. We also release 2 novel thumbs up/down preference datasets: "Taskmaster Coffee", and "Taskmaster Ticketing" to promote research around RLHF.