DeepSpeed-Chat: Простое, быстрое и доступное обучение моделей, подобных ChatGPT, с использованием RLHF на любых масштабах

DeepSpeed-Chat: Easy, Fast and Affordable RLHF Training of ChatGPT-like Models at All Scales

August 2, 2023

Авторы: Zhewei Yao, Reza Yazdani Aminabadi, Olatunji Ruwase, Samyam Rajbhandari, Xiaoxia Wu, Ammar Ahmad Awan, Jeff Rasley, Minjia Zhang, Conglong Li, Connor Holmes, Zhongzhu Zhou, Michael Wyatt, Molly Smith, Lev Kurilenko, Heyang Qin, Masahiro Tanaka, Shuai Che, Shuaiwen Leon Song, Yuxiong He

cs.AI

Аннотация

Модели, подобные ChatGPT, произвели революцию в различных приложениях искусственного интеллекта, от суммаризации и программирования до перевода, достигая или даже превосходя человеческие показатели. Однако в текущей ситуации отсутствует доступный, эффективный и экономически выгодный сквозной конвейер обучения с использованием RLHF (обучение с подкреплением на основе человеческой обратной связи) для таких мощных моделей, особенно при обучении на масштабах в миллиарды параметров. В данной статье представлена система DeepSpeed-Chat, которая демократизирует обучение RLHF, делая его доступным для сообщества ИИ. DeepSpeed-Chat предлагает три ключевые возможности: простой в использовании процесс обучения и вывода для моделей, подобных ChatGPT, конвейер DeepSpeed-RLHF, который воспроизводит процесс обучения из InstructGPT, а также надежную систему DeepSpeed-RLHF, объединяющую различные оптимизации для обучения и вывода в единый подход. Система обеспечивает непревзойденную эффективность и масштабируемость, позволяя обучать модели с сотнями миллиардов параметров в рекордно короткие сроки и при значительно меньших затратах. Благодаря этому развитию, DeepSpeed-Chat открывает путь к более широкому доступу к продвинутому обучению RLHF, даже для специалистов по данным с ограниченными ресурсами, тем самым способствуя инновациям и дальнейшему развитию в области ИИ.

English

ChatGPT-like models have revolutionized various applications in artificial intelligence, from summarization and coding to translation, matching or even surpassing human performance. However, the current landscape lacks an accessible, efficient, and cost-effective end-to-end RLHF (Reinforcement Learning with Human Feedback) training pipeline for these powerful models, particularly when training at the scale of billions of parameters. This paper introduces DeepSpeed-Chat, a novel system that democratizes RLHF training, making it accessible to the AI community. DeepSpeed-Chat offers three key capabilities: an easy-to-use training and inference experience for ChatGPT-like models, a DeepSpeed-RLHF pipeline that replicates the training pipeline from InstructGPT, and a robust DeepSpeed-RLHF system that combines various optimizations for training and inference in a unified way. The system delivers unparalleled efficiency and scalability, enabling training of models with hundreds of billions of parameters in record time and at a fraction of the cost. With this development, DeepSpeed-Chat paves the way for broader access to advanced RLHF training, even for data scientists with limited resources, thereby fostering innovation and further development in the field of AI.