OpenBA: Een open-source 15B tweetalig asymmetrisch seq2seq-model Vanaf nul voorgetraind

OpenBA: An Open-sourced 15B Bilingual Asymmetric seq2seq Model Pre-trained from Scratch

September 19, 2023

Auteurs: Juntao Li, Zecheng Tang, Yuyang Ding, Pinzheng Wang, Pei Guo, Wangjie You, Dan Qiao, Wenliang Chen, Guohong Fu, Qiaoming Zhu, Guodong Zhou, Min Zhang

cs.AI

Samenvatting

Grote taalmmodellen (LLM's) met miljarden parameters hebben uitstekende prestaties laten zien op verschillende taken binnen natuurlijke taalverwerking. Dit rapport presenteert OpenBA, een open-source 15B tweetalig asymmetrisch seq2seq-model, om een LLM-variant bij te dragen aan de Chineesgerichte open-source modelgemeenschap. We verbeteren OpenBA met effectieve en efficiënte technieken en hanteren een driestaps trainingsstrategie om het model vanaf nul te trainen. Onze oplossing kan ook zeer competitieve prestaties behalen met slechts 380B tokens, wat beter is dan LLaMA-70B op de BELEBELE-benchmark, BLOOM-176B op de MMLU-benchmark en GLM-130B op de C-Eval (hard)-benchmark. Dit rapport biedt de belangrijkste details om een vergelijkbaar model voor te trainen, inclusief de verwerking van voor-trainingsdata, de verzameling van tweetalige Flan-data, de empirische observaties die ons modelarchitectuurontwerp inspireren, de trainingsdoelen van verschillende fasen en andere verbeteringstechnieken. We hebben onze code herzien volgens de ontwerp principes van de Huggingface Transformers Library, waardoor het voor ontwikkelaars gemakkelijker te gebruiken is, en hebben checkpoints van verschillende trainingsfasen vrijgegeven op https://huggingface.co/openBA. Meer details over ons project zijn beschikbaar op https://github.com/OpenNLG/openBA.git.

English

Large language models (LLMs) with billions of parameters have demonstrated outstanding performance on various natural language processing tasks. This report presents OpenBA, an open-sourced 15B bilingual asymmetric seq2seq model, to contribute an LLM variant to the Chinese-oriented open-source model community. We enhance OpenBA with effective and efficient techniques as well as adopt a three-stage training strategy to train the model from scratch. Our solution can also achieve very competitive performance with only 380B tokens, which is better than LLaMA-70B on the BELEBELE benchmark, BLOOM-176B on the MMLU benchmark, GLM-130B on the C-Eval (hard) benchmark. This report provides the main details to pre-train an analogous model, including pre-training data processing, Bilingual Flan data collection, the empirical observations that inspire our model architecture design, training objectives of different stages, and other enhancement techniques. We have refactored our code to follow the design principles of the Huggingface Transformers Library, making it more convenient for developers to use, and released checkpoints of different training stages at https://huggingface.co/openBA. More details of our project are available at https://github.com/OpenNLG/openBA.git.