NeMo-Aligner: Kit de herramientas escalable para la alineación eficiente de modelos

NeMo-Aligner: Scalable Toolkit for Efficient Model Alignment

May 2, 2024

Autores: Gerald Shen, Zhilin Wang, Olivier Delalleau, Jiaqi Zeng, Yi Dong, Daniel Egert, Shengyang Sun, Jimmy Zhang, Sahil Jain, Ali Taghibakhshi, Markel Sanz Ausin, Ashwath Aithal, Oleksii Kuchaiev

cs.AI

Resumen

Alinear los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) con los valores y preferencias humanas es fundamental para hacerlos útiles y seguros. Sin embargo, desarrollar herramientas eficientes para realizar esta alineación puede ser un desafío, especialmente para los LLMs más grandes y competentes, que a menudo contienen decenas o cientos de miles de millones de parámetros. Creamos NeMo-Aligner, un kit de herramientas para la alineación de modelos que puede escalar eficientemente utilizando cientos de GPUs para el entrenamiento. NeMo-Aligner incluye implementaciones altamente optimizadas y escalables para los principales paradigmas de alineación de modelos, como: Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF), Optimización Directa de Preferencias (DPO), SteerLM y Ajuste Fino mediante Autojuego (SPIN). Además, nuestro kit de herramientas permite ejecutar la mayoría de las técnicas de alineación en un entorno de Ajuste Fino Eficiente en Parámetros (PEFT). NeMo-Aligner está diseñado para ser extensible, permitiendo la incorporación de otras técnicas de alineación con un esfuerzo mínimo. Está disponible como código abierto bajo la licencia Apache 2.0 e invitamos a contribuciones de la comunidad en https://github.com/NVIDIA/NeMo-Aligner.

English

Aligning Large Language Models (LLMs) with human values and preferences is essential for making them helpful and safe. However, building efficient tools to perform alignment can be challenging, especially for the largest and most competent LLMs which often contain tens or hundreds of billions of parameters. We create NeMo-Aligner, a toolkit for model alignment that can efficiently scale to using hundreds of GPUs for training. NeMo-Aligner comes with highly optimized and scalable implementations for major paradigms of model alignment such as: Reinforcement Learning from Human Feedback (RLHF), Direct Preference Optimization (DPO), SteerLM, and Self-Play Fine-Tuning (SPIN). Additionally, our toolkit supports running most of the alignment techniques in a Parameter Efficient Fine-Tuning (PEFT) setting. NeMo-Aligner is designed for extensibility, allowing support for other alignment techniques with minimal effort. It is open-sourced with Apache 2.0 License and we invite community contributions at https://github.com/NVIDIA/NeMo-Aligner