NeMo-Aligner: 効率的なモデルアラインメントのためのスケーラブルなツールキット

NeMo-Aligner: Scalable Toolkit for Efficient Model Alignment

May 2, 2024

著者: Gerald Shen, Zhilin Wang, Olivier Delalleau, Jiaqi Zeng, Yi Dong, Daniel Egert, Shengyang Sun, Jimmy Zhang, Sahil Jain, Ali Taghibakhshi, Markel Sanz Ausin, Ashwath Aithal, Oleksii Kuchaiev

cs.AI

要旨

大規模言語モデル（LLM）を人間の価値観や嗜好に適合させることは、それらを有用かつ安全にするために不可欠です。しかし、特に数百億から数千億のパラメータを含む最大規模で最も有能なLLMに対して、適合を実行する効率的なツールを構築することは困難です。私たちは、数百のGPUを使用したトレーニングに効率的にスケールできるモデル適合のためのツールキット、NeMo-Alignerを作成しました。NeMo-Alignerは、人間のフィードバックからの強化学習（RLHF）、直接嗜好最適化（DPO）、SteerLM、自己対戦微調整（SPIN）といった主要なモデル適合パラダイムのための高度に最適化されスケーラブルな実装を提供します。さらに、私たちのツールキットは、ほとんどの適合技術をパラメータ効率的微調整（PEFT）設定で実行することをサポートしています。NeMo-Alignerは拡張性を考慮して設計されており、最小限の労力で他の適合技術をサポートすることが可能です。このツールキットはApache 2.0ライセンスでオープンソース化されており、コミュニティの貢献をhttps://github.com/NVIDIA/NeMo-Alignerで歓迎しています。

English

Aligning Large Language Models (LLMs) with human values and preferences is essential for making them helpful and safe. However, building efficient tools to perform alignment can be challenging, especially for the largest and most competent LLMs which often contain tens or hundreds of billions of parameters. We create NeMo-Aligner, a toolkit for model alignment that can efficiently scale to using hundreds of GPUs for training. NeMo-Aligner comes with highly optimized and scalable implementations for major paradigms of model alignment such as: Reinforcement Learning from Human Feedback (RLHF), Direct Preference Optimization (DPO), SteerLM, and Self-Play Fine-Tuning (SPIN). Additionally, our toolkit supports running most of the alignment techniques in a Parameter Efficient Fine-Tuning (PEFT) setting. NeMo-Aligner is designed for extensibility, allowing support for other alignment techniques with minimal effort. It is open-sourced with Apache 2.0 License and we invite community contributions at https://github.com/NVIDIA/NeMo-Aligner