NeMo-Aligner: 효율적인 모델 정렬을 위한 확장 가능한 툴킷

NeMo-Aligner: Scalable Toolkit for Efficient Model Alignment

May 2, 2024

저자: Gerald Shen, Zhilin Wang, Olivier Delalleau, Jiaqi Zeng, Yi Dong, Daniel Egert, Shengyang Sun, Jimmy Zhang, Sahil Jain, Ali Taghibakhshi, Markel Sanz Ausin, Ashwath Aithal, Oleksii Kuchaiev

cs.AI

초록

대규모 언어 모델(LLM)을 인간의 가치와 선호도에 맞추는 것은 이를 유용하고 안전하게 만드는 데 필수적입니다. 그러나 특히 수백억 또는 수천억 개의 파라미터를 포함하는 가장 크고 강력한 LLM의 경우, 이를 정렬하기 위한 효율적인 도구를 구축하는 것은 어려운 과제입니다. 우리는 수백 개의 GPU를 사용하여 효율적으로 확장 가능한 모델 정렬 툴킷인 NeMo-Aligner를 개발했습니다. NeMo-Aligner는 인간 피드백을 통한 강화 학습(RLHF), 직접 선호 최적화(DPO), SteerLM, 자기 주도 미세 조정(SPIN)과 같은 주요 모델 정렬 패러다임을 위한 고도로 최적화되고 확장 가능한 구현을 제공합니다. 또한, 이 툴킷은 대부분의 정렬 기술을 파라미터 효율적 미세 조정(PEFT) 설정에서 실행할 수 있도록 지원합니다. NeMo-Aligner는 확장성을 고려하여 설계되었으며, 최소한의 노력으로 다른 정렬 기술을 지원할 수 있습니다. 이 툴킷은 Apache 2.0 라이선스로 오픈소스화되었으며, https://github.com/NVIDIA/NeMo-Aligner에서 커뮤니티 기여를 환영합니다.

English

Aligning Large Language Models (LLMs) with human values and preferences is essential for making them helpful and safe. However, building efficient tools to perform alignment can be challenging, especially for the largest and most competent LLMs which often contain tens or hundreds of billions of parameters. We create NeMo-Aligner, a toolkit for model alignment that can efficiently scale to using hundreds of GPUs for training. NeMo-Aligner comes with highly optimized and scalable implementations for major paradigms of model alignment such as: Reinforcement Learning from Human Feedback (RLHF), Direct Preference Optimization (DPO), SteerLM, and Self-Play Fine-Tuning (SPIN). Additionally, our toolkit supports running most of the alignment techniques in a Parameter Efficient Fine-Tuning (PEFT) setting. NeMo-Aligner is designed for extensibility, allowing support for other alignment techniques with minimal effort. It is open-sourced with Apache 2.0 License and we invite community contributions at https://github.com/NVIDIA/NeMo-Aligner