NeMo-Aligner : Boîte à outils évolutive pour un alignement efficace des modèles

NeMo-Aligner: Scalable Toolkit for Efficient Model Alignment

May 2, 2024

Auteurs: Gerald Shen, Zhilin Wang, Olivier Delalleau, Jiaqi Zeng, Yi Dong, Daniel Egert, Shengyang Sun, Jimmy Zhang, Sahil Jain, Ali Taghibakhshi, Markel Sanz Ausin, Ashwath Aithal, Oleksii Kuchaiev

cs.AI

Résumé

L'alignement des grands modèles de langage (LLMs) avec les valeurs et préférences humaines est essentiel pour les rendre utiles et sûrs. Cependant, la création d'outils efficaces pour réaliser cet alignement peut s'avérer complexe, en particulier pour les LLMs les plus vastes et performants, qui contiennent souvent des dizaines ou des centaines de milliards de paramètres. Nous avons développé NeMo-Aligner, une boîte à outils pour l'alignement des modèles, capable de s'adapter efficacement à l'utilisation de centaines de GPU pour l'entraînement. NeMo-Aligner propose des implémentations hautement optimisées et évolutives pour les principaux paradigmes d'alignement des modèles, tels que : l'apprentissage par renforcement à partir de retours humains (RLHF), l'optimisation directe des préférences (DPO), SteerLM, et le réglage fin par auto-jeu (SPIN). De plus, notre boîte à outils permet d'exécuter la plupart des techniques d'alignement dans un cadre de réglage fin efficace en paramètres (PEFT). NeMo-Aligner est conçu pour être extensible, permettant l'intégration d'autres techniques d'alignement avec un effort minimal. Il est publié en open source sous licence Apache 2.0, et nous invitons la communauté à contribuer sur https://github.com/NVIDIA/NeMo-Aligner.

English

Aligning Large Language Models (LLMs) with human values and preferences is essential for making them helpful and safe. However, building efficient tools to perform alignment can be challenging, especially for the largest and most competent LLMs which often contain tens or hundreds of billions of parameters. We create NeMo-Aligner, a toolkit for model alignment that can efficiently scale to using hundreds of GPUs for training. NeMo-Aligner comes with highly optimized and scalable implementations for major paradigms of model alignment such as: Reinforcement Learning from Human Feedback (RLHF), Direct Preference Optimization (DPO), SteerLM, and Self-Play Fine-Tuning (SPIN). Additionally, our toolkit supports running most of the alignment techniques in a Parameter Efficient Fine-Tuning (PEFT) setting. NeMo-Aligner is designed for extensibility, allowing support for other alignment techniques with minimal effort. It is open-sourced with Apache 2.0 License and we invite community contributions at https://github.com/NVIDIA/NeMo-Aligner