OpenBA: Um Modelo Bilingual Assimétrico seq2seq de 15B de Código Aberto Pré-treinado do Zero

OpenBA: An Open-sourced 15B Bilingual Asymmetric seq2seq Model Pre-trained from Scratch

September 19, 2023

Autores: Juntao Li, Zecheng Tang, Yuyang Ding, Pinzheng Wang, Pei Guo, Wangjie You, Dan Qiao, Wenliang Chen, Guohong Fu, Qiaoming Zhu, Guodong Zhou, Min Zhang

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) com bilhões de parâmetros têm demonstrado desempenho excepcional em diversas tarefas de processamento de linguagem natural. Este relatório apresenta o OpenBA, um modelo seq2seq bilíngue assimétrico de 15B de código aberto, contribuindo com uma variante de LLM para a comunidade de modelos de código aberto voltados para o chinês. Aprimoramos o OpenBA com técnicas eficazes e eficientes, além de adotar uma estratégia de treinamento em três estágios para treinar o modelo do zero. Nossa solução também pode alcançar um desempenho muito competitivo com apenas 380B de tokens, superando o LLaMA-70B no benchmark BELEBELE, o BLOOM-176B no benchmark MMLU e o GLM-130B no benchmark C-Eval (hard). Este relatório fornece os principais detalhes para pré-treinar um modelo análogo, incluindo o processamento de dados de pré-treinamento, a coleta de dados Bilingual Flan, as observações empíricas que inspiraram o design da arquitetura do nosso modelo, os objetivos de treinamento em diferentes estágios e outras técnicas de aprimoramento. Refatoramos nosso código para seguir os princípios de design da Biblioteca Huggingface Transformers, tornando-o mais conveniente para os desenvolvedores usarem, e liberamos checkpoints de diferentes estágios de treinamento em https://huggingface.co/openBA. Mais detalhes do nosso projeto estão disponíveis em https://github.com/OpenNLG/openBA.git.

English

Large language models (LLMs) with billions of parameters have demonstrated outstanding performance on various natural language processing tasks. This report presents OpenBA, an open-sourced 15B bilingual asymmetric seq2seq model, to contribute an LLM variant to the Chinese-oriented open-source model community. We enhance OpenBA with effective and efficient techniques as well as adopt a three-stage training strategy to train the model from scratch. Our solution can also achieve very competitive performance with only 380B tokens, which is better than LLaMA-70B on the BELEBELE benchmark, BLOOM-176B on the MMLU benchmark, GLM-130B on the C-Eval (hard) benchmark. This report provides the main details to pre-train an analogous model, including pre-training data processing, Bilingual Flan data collection, the empirical observations that inspire our model architecture design, training objectives of different stages, and other enhancement techniques. We have refactored our code to follow the design principles of the Huggingface Transformers Library, making it more convenient for developers to use, and released checkpoints of different training stages at https://huggingface.co/openBA. More details of our project are available at https://github.com/OpenNLG/openBA.git.