OpenBA : Un modèle séquence à séquence bilingue asymétrique de 15 milliards de paramètres open source, pré-entraîné à partir de zéro

OpenBA: An Open-sourced 15B Bilingual Asymmetric seq2seq Model Pre-trained from Scratch

September 19, 2023

Auteurs: Juntao Li, Zecheng Tang, Yuyang Ding, Pinzheng Wang, Pei Guo, Wangjie You, Dan Qiao, Wenliang Chen, Guohong Fu, Qiaoming Zhu, Guodong Zhou, Min Zhang

cs.AI

Résumé

Les grands modèles de langage (LLM) avec des milliards de paramètres ont démontré des performances exceptionnelles sur diverses tâches de traitement du langage naturel. Ce rapport présente OpenBA, un modèle seq2seq bilingue asymétrique open-source de 15 milliards de paramètres, visant à contribuer une variante de LLM à la communauté des modèles open-source orientés vers le chinois. Nous améliorons OpenBA avec des techniques efficaces et efficientes, tout en adoptant une stratégie d'entraînement en trois étapes pour former le modèle à partir de zéro. Notre solution peut également atteindre des performances très compétitives avec seulement 380 milliards de tokens, surpassant LLaMA-70B sur le benchmark BELEBELE, BLOOM-176B sur le benchmark MMLU, et GLM-130B sur le benchmark C-Eval (difficile). Ce rapport fournit les principaux détails pour pré-entraîner un modèle analogue, incluant le traitement des données de pré-entraînement, la collecte de données Bilingual Flan, les observations empiriques qui inspirent la conception de notre architecture de modèle, les objectifs d'entraînement des différentes étapes, et d'autres techniques d'amélioration. Nous avons restructuré notre code pour suivre les principes de conception de la bibliothèque Huggingface Transformers, le rendant plus pratique pour les développeurs, et avons publié des points de contrôle des différentes étapes d'entraînement sur https://huggingface.co/openBA. Plus de détails sur notre projet sont disponibles sur https://github.com/OpenNLG/openBA.git.

English

Large language models (LLMs) with billions of parameters have demonstrated outstanding performance on various natural language processing tasks. This report presents OpenBA, an open-sourced 15B bilingual asymmetric seq2seq model, to contribute an LLM variant to the Chinese-oriented open-source model community. We enhance OpenBA with effective and efficient techniques as well as adopt a three-stage training strategy to train the model from scratch. Our solution can also achieve very competitive performance with only 380B tokens, which is better than LLaMA-70B on the BELEBELE benchmark, BLOOM-176B on the MMLU benchmark, GLM-130B on the C-Eval (hard) benchmark. This report provides the main details to pre-train an analogous model, including pre-training data processing, Bilingual Flan data collection, the empirical observations that inspire our model architecture design, training objectives of different stages, and other enhancement techniques. We have refactored our code to follow the design principles of the Huggingface Transformers Library, making it more convenient for developers to use, and released checkpoints of different training stages at https://huggingface.co/openBA. More details of our project are available at https://github.com/OpenNLG/openBA.git.