OpenBA: スクラッチから事前学習されたオープンソースの15Bパラメータ非対称seq2seqバイリンガルモデル

OpenBA: An Open-sourced 15B Bilingual Asymmetric seq2seq Model Pre-trained from Scratch

September 19, 2023

著者: Juntao Li, Zecheng Tang, Yuyang Ding, Pinzheng Wang, Pei Guo, Wangjie You, Dan Qiao, Wenliang Chen, Guohong Fu, Qiaoming Zhu, Guodong Zhou, Min Zhang

cs.AI

要旨

数十億のパラメータを有する大規模言語モデル（LLMs）は、様々な自然言語処理タスクにおいて卓越した性能を発揮しています。本報告書では、中国語指向のオープンソースモデルコミュニティに貢献するため、オープンソースの15Bバイリンガル非対称seq2seqモデルであるOpenBAを紹介します。我々はOpenBAを効果的かつ効率的な技術で強化し、モデルをゼロからトレーニングするための3段階のトレーニング戦略を採用しました。我々のソリューションは、わずか380Bトークンで非常に競争力のある性能を達成し、BELEBELEベンチマークではLLaMA-70Bを、MMLUベンチマークではBLOOM-176Bを、C-Eval（ハード）ベンチマークではGLM-130Bを上回りました。本報告書では、類似モデルを事前トレーニングするための主要な詳細を提供します。これには、事前トレーニングデータ処理、バイリンガルFlanデータ収集、モデルアーキテクチャ設計にインスピレーションを与えた経験的観察、異なる段階のトレーニング目標、およびその他の強化技術が含まれます。我々は、Huggingface Transformersライブラリの設計原則に従ってコードをリファクタリングし、開発者がより便利に使用できるようにし、異なるトレーニング段階のチェックポイントをhttps://huggingface.co/openBAでリリースしました。プロジェクトの詳細はhttps://github.com/OpenNLG/openBA.gitでご覧いただけます。

English

Large language models (LLMs) with billions of parameters have demonstrated outstanding performance on various natural language processing tasks. This report presents OpenBA, an open-sourced 15B bilingual asymmetric seq2seq model, to contribute an LLM variant to the Chinese-oriented open-source model community. We enhance OpenBA with effective and efficient techniques as well as adopt a three-stage training strategy to train the model from scratch. Our solution can also achieve very competitive performance with only 380B tokens, which is better than LLaMA-70B on the BELEBELE benchmark, BLOOM-176B on the MMLU benchmark, GLM-130B on the C-Eval (hard) benchmark. This report provides the main details to pre-train an analogous model, including pre-training data processing, Bilingual Flan data collection, the empirical observations that inspire our model architecture design, training objectives of different stages, and other enhancement techniques. We have refactored our code to follow the design principles of the Huggingface Transformers Library, making it more convenient for developers to use, and released checkpoints of different training stages at https://huggingface.co/openBA. More details of our project are available at https://github.com/OpenNLG/openBA.git.