NeMo-Aligner: Skalierbares Toolkit für effiziente Modellausrichtung

NeMo-Aligner: Scalable Toolkit for Efficient Model Alignment

May 2, 2024

Autoren: Gerald Shen, Zhilin Wang, Olivier Delalleau, Jiaqi Zeng, Yi Dong, Daniel Egert, Shengyang Sun, Jimmy Zhang, Sahil Jain, Ali Taghibakhshi, Markel Sanz Ausin, Ashwath Aithal, Oleksii Kuchaiev

cs.AI

Zusammenfassung

Die Ausrichtung von großen Sprachmodellen (LLMs) an menschlichen Werten und Präferenzen ist entscheidend, um sie hilfreich und sicher zu machen. Die Entwicklung effizienter Tools zur Durchführung der Ausrichtung kann jedoch herausfordernd sein, insbesondere für die größten und leistungsfähigsten LLMs, die oft zehn oder hunderte Milliarden Parameter enthalten. Wir haben NeMo-Aligner entwickelt, ein Toolkit für die Modellausrichtung, das effizient auf Hunderte von GPUs für das Training skaliert werden kann. NeMo-Aligner bietet hoch optimierte und skalierbare Implementierungen für wichtige Paradigmen der Modellausrichtung wie: Verstärkendes Lernen aus menschlichem Feedback (RLHF), Direkte Präferenzoptimierung (DPO), SteerLM und Selbstspiel Feinabstimmung (SPIN). Darüber hinaus unterstützt unser Toolkit das Ausführen der meisten Ausrichtungstechniken in einem Einstellung für parametereffizientes Feintuning (PEFT). NeMo-Aligner ist auf Erweiterbarkeit ausgelegt und ermöglicht die Unterstützung anderer Ausrichtungstechniken mit minimalem Aufwand. Es ist Open Source unter der Apache 2.0 Lizenz und wir laden die Community ein, Beiträge unter https://github.com/NVIDIA/NeMo-Aligner zu leisten.

English

Aligning Large Language Models (LLMs) with human values and preferences is essential for making them helpful and safe. However, building efficient tools to perform alignment can be challenging, especially for the largest and most competent LLMs which often contain tens or hundreds of billions of parameters. We create NeMo-Aligner, a toolkit for model alignment that can efficiently scale to using hundreds of GPUs for training. NeMo-Aligner comes with highly optimized and scalable implementations for major paradigms of model alignment such as: Reinforcement Learning from Human Feedback (RLHF), Direct Preference Optimization (DPO), SteerLM, and Self-Play Fine-Tuning (SPIN). Additionally, our toolkit supports running most of the alignment techniques in a Parameter Efficient Fine-Tuning (PEFT) setting. NeMo-Aligner is designed for extensibility, allowing support for other alignment techniques with minimal effort. It is open-sourced with Apache 2.0 License and we invite community contributions at https://github.com/NVIDIA/NeMo-Aligner