OpenBA: Un Modello Bilingue Asimmetrico seq2seq Open-source da 15B Parametri Pre-addestrato da Zero

OpenBA: An Open-sourced 15B Bilingual Asymmetric seq2seq Model Pre-trained from Scratch

September 19, 2023

Autori: Juntao Li, Zecheng Tang, Yuyang Ding, Pinzheng Wang, Pei Guo, Wangjie You, Dan Qiao, Wenliang Chen, Guohong Fu, Qiaoming Zhu, Guodong Zhou, Min Zhang

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) con miliardi di parametri hanno dimostrato prestazioni eccezionali in vari compiti di elaborazione del linguaggio naturale. Questo rapporto presenta OpenBA, un modello seq2seq bilingue asimmetrico open-source da 15B, per contribuire con una variante di LLM alla comunità di modelli open-source orientati al cinese. Abbiamo potenziato OpenBA con tecniche efficaci ed efficienti e adottato una strategia di addestramento in tre fasi per addestrare il modello da zero. La nostra soluzione può anche ottenere prestazioni molto competitive con soli 380B di token, superando LLaMA-70B sul benchmark BELEBELE, BLOOM-176B sul benchmark MMLU e GLM-130B sul benchmark C-Eval (hard). Questo rapporto fornisce i dettagli principali per pre-addestrare un modello analogo, inclusi l'elaborazione dei dati di pre-addestramento, la raccolta dei dati Bilingual Flan, le osservazioni empiriche che hanno ispirato il design dell'architettura del nostro modello, gli obiettivi di addestramento delle diverse fasi e altre tecniche di potenziamento. Abbiamo rifattorizzato il nostro codice per seguire i principi di progettazione della libreria Huggingface Transformers, rendendolo più conveniente per gli sviluppatori, e abbiamo rilasciato checkpoint di diverse fasi di addestramento su https://huggingface.co/openBA. Ulteriori dettagli sul nostro progetto sono disponibili su https://github.com/OpenNLG/openBA.git.

English

Large language models (LLMs) with billions of parameters have demonstrated outstanding performance on various natural language processing tasks. This report presents OpenBA, an open-sourced 15B bilingual asymmetric seq2seq model, to contribute an LLM variant to the Chinese-oriented open-source model community. We enhance OpenBA with effective and efficient techniques as well as adopt a three-stage training strategy to train the model from scratch. Our solution can also achieve very competitive performance with only 380B tokens, which is better than LLaMA-70B on the BELEBELE benchmark, BLOOM-176B on the MMLU benchmark, GLM-130B on the C-Eval (hard) benchmark. This report provides the main details to pre-train an analogous model, including pre-training data processing, Bilingual Flan data collection, the empirical observations that inspire our model architecture design, training objectives of different stages, and other enhancement techniques. We have refactored our code to follow the design principles of the Huggingface Transformers Library, making it more convenient for developers to use, and released checkpoints of different training stages at https://huggingface.co/openBA. More details of our project are available at https://github.com/OpenNLG/openBA.git.