PERL: Parameter-effizientes Reinforcement-Learning durch menschliches Feedback

PERL: Parameter Efficient Reinforcement Learning from Human Feedback

March 15, 2024

Autoren: Hakim Sidahmed, Samrat Phatale, Alex Hutcheson, Zhuonan Lin, Zhang Chen, Zac Yu, Jarvis Jin, Roman Komarytsia, Christiane Ahlheim, Yonghao Zhu, Simral Chaudhary, Bowen Li, Saravanan Ganesh, Bill Byrne, Jessica Hoffmann, Hassan Mansoor, Wei Li, Abhinav Rastogi, Lucas Dixon

cs.AI

Zusammenfassung

Das Lernen durch Verstärkung aus menschlichem Feedback (RLHF) hat sich als eine starke Methode erwiesen, um vortrainierte große Sprachmodelle (LLMs) mit menschlichen Präferenzen in Einklang zu bringen. Das Trainieren von Modellen mit RLHF ist jedoch rechnerisch aufwendig und insgesamt ein komplexer Prozess. In dieser Arbeit untersuchen wir RLHF, bei dem die zugrunde liegenden Modelle mit der parametereffizienten Methode des Low-Rank Adaptation (LoRA) trainiert werden, die von Hu et al. [2021] eingeführt wurde. Wir untersuchen die Einrichtung von "Parameter Efficient Reinforcement Learning" (PERL), bei dem wir das Training des Belohnungsmodells und das Verstärkungslernen unter Verwendung von LoRA durchführen. Wir vergleichen PERL mit dem herkömmlichen Feinabstimmungsverfahren (Vollabstimmung) in verschiedenen Konfigurationen für 7 Benchmarks, darunter 2 neue Datensätze, für das Belohnungsmodellieren und das Verstärkungslernen. Wir stellen fest, dass PERL ähnlich gut abschneidet wie die herkömmliche RLHF-Einstellung, dabei jedoch schneller trainiert und weniger Speicher benötigt. Dies ermöglicht die hohe Leistung von RLHF und verringert gleichzeitig die rechnerische Belastung, die seine Verwendung als Ausrichtungstechnik für große Sprachmodelle einschränkt. Wir veröffentlichen auch 2 neue Daumen-hoch/-runter-Präferenzdatensätze: "Taskmaster Coffee" und "Taskmaster Ticketing", um die Forschung im Bereich RLHF zu fördern.

English

Reinforcement Learning from Human Feedback (RLHF) has proven to be a strong method to align Pretrained Large Language Models (LLMs) with human preferences. But training models with RLHF is computationally expensive, and an overall complex process. In this work, we study RLHF where the underlying models are trained using the parameter efficient method of Low-Rank Adaptation (LoRA) introduced by Hu et al. [2021]. We investigate the setup of "Parameter Efficient Reinforcement Learning" (PERL), in which we perform reward model training and reinforcement learning using LoRA. We compare PERL to conventional fine-tuning (full-tuning) across various configurations for 7 benchmarks, including 2 novel datasets, of reward modeling and reinforcement learning. We find that PERL performs on par with the conventional RLHF setting, while training faster, and with less memory. This enables the high performance of RLHF, while reducing the computational burden that limits its adoption as an alignment technique for Large Language Models. We also release 2 novel thumbs up/down preference datasets: "Taskmaster Coffee", and "Taskmaster Ticketing" to promote research around RLHF.