OpenBA: Ein quelloffenes 15B zweisprachiges asymmetrisches seq2seq-Modell Von Grund auf vortrainiert

OpenBA: An Open-sourced 15B Bilingual Asymmetric seq2seq Model Pre-trained from Scratch

September 19, 2023

Autoren: Juntao Li, Zecheng Tang, Yuyang Ding, Pinzheng Wang, Pei Guo, Wangjie You, Dan Qiao, Wenliang Chen, Guohong Fu, Qiaoming Zhu, Guodong Zhou, Min Zhang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) mit Milliarden von Parametern haben herausragende Leistungen bei verschiedenen Aufgaben der natürlichen Sprachverarbeitung gezeigt. Dieser Bericht stellt OpenBA vor, ein quelloffenes, 15 Milliarden Parameter umfassendes, bilinguales asymmetrisches Seq2Seq-Modell, das eine LLM-Variante zur chinesisch-orientierten Open-Source-Modellgemeinschaft beiträgt. Wir verbessern OpenBA mit effektiven und effizienten Techniken und setzen eine dreistufige Trainingsstrategie ein, um das Modell von Grund auf zu trainieren. Unsere Lösung kann auch mit nur 380 Milliarden Token sehr wettbewerbsfähige Leistungen erzielen, die besser sind als LLaMA-70B auf dem BELEBELE-Benchmark, BLOOM-176B auf dem MMLU-Benchmark und GLM-130B auf dem C-Eval (Hard)-Benchmark. Dieser Bericht liefert die wesentlichen Details zum Vortraining eines analogen Modells, einschließlich der Verarbeitung von Vortrainingsdaten, der Sammlung von bilingualen Flan-Daten, den empirischen Beobachtungen, die unser Modellarchitekturdesign inspirieren, den Trainingszielen der verschiedenen Stufen und anderen Verbesserungstechniken. Wir haben unseren Code neu strukturiert, um den Designprinzipien der Huggingface Transformers Library zu folgen, was die Nutzung für Entwickler bequemer macht, und haben Checkpoints verschiedener Trainingsstufen unter https://huggingface.co/openBA veröffentlicht. Weitere Details zu unserem Projekt sind unter https://github.com/OpenNLG/openBA.git verfügbar.

English

Large language models (LLMs) with billions of parameters have demonstrated outstanding performance on various natural language processing tasks. This report presents OpenBA, an open-sourced 15B bilingual asymmetric seq2seq model, to contribute an LLM variant to the Chinese-oriented open-source model community. We enhance OpenBA with effective and efficient techniques as well as adopt a three-stage training strategy to train the model from scratch. Our solution can also achieve very competitive performance with only 380B tokens, which is better than LLaMA-70B on the BELEBELE benchmark, BLOOM-176B on the MMLU benchmark, GLM-130B on the C-Eval (hard) benchmark. This report provides the main details to pre-train an analogous model, including pre-training data processing, Bilingual Flan data collection, the empirical observations that inspire our model architecture design, training objectives of different stages, and other enhancement techniques. We have refactored our code to follow the design principles of the Huggingface Transformers Library, making it more convenient for developers to use, and released checkpoints of different training stages at https://huggingface.co/openBA. More details of our project are available at https://github.com/OpenNLG/openBA.git.