NeMo-Aligner: Масштабируемый набор инструментов для эффективного выравнивания моделей

NeMo-Aligner: Scalable Toolkit for Efficient Model Alignment

May 2, 2024

Авторы: Gerald Shen, Zhilin Wang, Olivier Delalleau, Jiaqi Zeng, Yi Dong, Daniel Egert, Shengyang Sun, Jimmy Zhang, Sahil Jain, Ali Taghibakhshi, Markel Sanz Ausin, Ashwath Aithal, Oleksii Kuchaiev

cs.AI

Аннотация

Выравнивание больших языковых моделей (LLM) с человеческими ценностями и предпочтениями является необходимым для обеспечения их полезности и безопасности. Однако создание эффективных инструментов для выполнения выравнивания может быть сложным, особенно для самых крупных и компетентных LLM, которые часто содержат десятки или сотни миллиардов параметров. Мы создали NeMo-Aligner, набор инструментов для выравнивания моделей, способный эффективно масштабироваться для использования сотен графических процессоров для обучения. NeMo-Aligner поставляется с высоко оптимизированными и масштабируемыми реализациями основных парадигм выравнивания моделей, таких как: обучение с подкреплением по обратной связи от человека (RLHF), прямая оптимизация предпочтений (DPO), SteerLM и самонастройка через игру (SPIN). Кроме того, наш набор инструментов поддерживает запуск большинства техник выравнивания в режиме эффективной настройки параметров (PEFT). NeMo-Aligner разработан с учетом расширяемости, обеспечивая поддержку других техник выравнивания с минимальными усилиями. Он предоставляется в открытом доступе под лицензией Apache 2.0, и мы приглашаем сообщество к участию по адресу https://github.com/NVIDIA/NeMo-Aligner

English

Aligning Large Language Models (LLMs) with human values and preferences is essential for making them helpful and safe. However, building efficient tools to perform alignment can be challenging, especially for the largest and most competent LLMs which often contain tens or hundreds of billions of parameters. We create NeMo-Aligner, a toolkit for model alignment that can efficiently scale to using hundreds of GPUs for training. NeMo-Aligner comes with highly optimized and scalable implementations for major paradigms of model alignment such as: Reinforcement Learning from Human Feedback (RLHF), Direct Preference Optimization (DPO), SteerLM, and Self-Play Fine-Tuning (SPIN). Additionally, our toolkit supports running most of the alignment techniques in a Parameter Efficient Fine-Tuning (PEFT) setting. NeMo-Aligner is designed for extensibility, allowing support for other alignment techniques with minimal effort. It is open-sourced with Apache 2.0 License and we invite community contributions at https://github.com/NVIDIA/NeMo-Aligner