NeMo-Aligner: Kit de Ferramentas Escalável para Alinhamento Eficiente de Modelos

NeMo-Aligner: Scalable Toolkit for Efficient Model Alignment

May 2, 2024

Autores: Gerald Shen, Zhilin Wang, Olivier Delalleau, Jiaqi Zeng, Yi Dong, Daniel Egert, Shengyang Sun, Jimmy Zhang, Sahil Jain, Ali Taghibakhshi, Markel Sanz Ausin, Ashwath Aithal, Oleksii Kuchaiev

cs.AI

Resumo

Alinhar modelos de linguagem de grande escala (LLMs) com valores e preferências humanas é essencial para torná-los úteis e seguros. No entanto, desenvolver ferramentas eficientes para realizar esse alinhamento pode ser desafiador, especialmente para os LLMs maiores e mais competentes, que frequentemente contêm dezenas ou centenas de bilhões de parâmetros. Criamos o NeMo-Aligner, um kit de ferramentas para alinhamento de modelos que pode escalar eficientemente para o uso de centenas de GPUs no treinamento. O NeMo-Aligner vem com implementações altamente otimizadas e escaláveis para os principais paradigmas de alinhamento de modelos, como: Aprendizado por Reforço com Feedback Humano (RLHF), Otimização Direta de Preferências (DPO), SteerLM e Ajuste Fino por Autojogo (SPIN). Além disso, nosso kit de ferramentas suporta a execução da maioria das técnicas de alinhamento em um cenário de Ajuste Fino Eficiente em Parâmetros (PEFT). O NeMo-Aligner foi projetado para ser extensível, permitindo o suporte a outras técnicas de alinhamento com esforço mínimo. Ele é disponibilizado como código aberto sob a Licença Apache 2.0, e convidamos contribuições da comunidade em https://github.com/NVIDIA/NeMo-Aligner.

English

Aligning Large Language Models (LLMs) with human values and preferences is essential for making them helpful and safe. However, building efficient tools to perform alignment can be challenging, especially for the largest and most competent LLMs which often contain tens or hundreds of billions of parameters. We create NeMo-Aligner, a toolkit for model alignment that can efficiently scale to using hundreds of GPUs for training. NeMo-Aligner comes with highly optimized and scalable implementations for major paradigms of model alignment such as: Reinforcement Learning from Human Feedback (RLHF), Direct Preference Optimization (DPO), SteerLM, and Self-Play Fine-Tuning (SPIN). Additionally, our toolkit supports running most of the alignment techniques in a Parameter Efficient Fine-Tuning (PEFT) setting. NeMo-Aligner is designed for extensibility, allowing support for other alignment techniques with minimal effort. It is open-sourced with Apache 2.0 License and we invite community contributions at https://github.com/NVIDIA/NeMo-Aligner