NeMo-Aligner：効率的なモデルアラインメントのためのスケーラブルなツールキット

要旨

大規模言語モデル（LLM）を人間の価値観や選好に適合させることは、モデルを有用かつ安全にするために不可欠です。しかし、特に数百億から数千億のパラメータを含む大規模で高性能なLLMの場合、適合化を行う効率的なツールの構築は困難な課題となります。本研究では、数百GPUを用いた学習に効率的にスケール可能なモデル適合化ツールキット「NeMo-Aligner」を開発しました。NeMo-Alignerは、人間フィードバック強化学習（RLHF）、直接選好最適化（DPO）、SteerLM、自己対戦ファインチューニング（SPIN）といった主要なモデル適合化パラダイムの、高度に最適化されスケーラブルな実装を提供します。さらに、本ツールキットは大半の適合化技術をパラメータ効率型ファインチューニング（PEFT）設定で実行することをサポートしています。NeMo-Alignerは拡張性を重視して設計されており、最小限の労力で他の適合化技術のサポートを追加可能です。Apache 2.0ライセンスの下でオープンソース化されており、https://github.com/NVIDIA/NeMo-Aligner にてコミュニティの貢献を歓迎します。

English

Aligning Large Language Models (LLMs) with human values and preferences is essential for making them helpful and safe. However, building efficient tools to perform alignment can be challenging, especially for the largest and most competent LLMs which often contain tens or hundreds of billions of parameters. We create NeMo-Aligner, a toolkit for model alignment that can efficiently scale to using hundreds of GPUs for training. NeMo-Aligner comes with highly optimized and scalable implementations for major paradigms of model alignment such as: Reinforcement Learning from Human Feedback (RLHF), Direct Preference Optimization (DPO), SteerLM, and Self-Play Fine-Tuning (SPIN). Additionally, our toolkit supports running most of the alignment techniques in a Parameter Efficient Fine-Tuning (PEFT) setting. NeMo-Aligner is designed for extensibility, allowing support for other alignment techniques with minimal effort. It is open-sourced with Apache 2.0 License and we invite community contributions at https://github.com/NVIDIA/NeMo-Aligner

NeMo-Aligner：効率的なモデルアラインメントのためのスケーラブルなツールキット

NeMo-Aligner: Scalable Toolkit for Efficient Model Alignment

要旨

Support