ChatPaper.aiChatPaper

OpenBA: Открытая 15-миллиардная двуязычная асимметричная seq2seq-модель, предобученная с нуля

OpenBA: An Open-sourced 15B Bilingual Asymmetric seq2seq Model Pre-trained from Scratch

September 19, 2023
Авторы: Juntao Li, Zecheng Tang, Yuyang Ding, Pinzheng Wang, Pei Guo, Wangjie You, Dan Qiao, Wenliang Chen, Guohong Fu, Qiaoming Zhu, Guodong Zhou, Min Zhang
cs.AI

Аннотация

Крупные языковые модели (LLMs) с миллиардами параметров продемонстрировали выдающуюся производительность в различных задачах обработки естественного языка. В данном отчете представлена OpenBA — открытая 15-миллиардная двуязычная асимметричная модель seq2seq, которая вносит вклад в сообщество открытых моделей, ориентированных на китайский язык. Мы улучшили OpenBA с помощью эффективных и производительных методов, а также применили трехэтапную стратегию обучения для тренировки модели с нуля. Наше решение демонстрирует конкурентоспособные результаты, используя всего 380 миллиардов токенов, превосходя LLaMA-70B на бенчмарке BELEBELE, BLOOM-176B на бенчмарке MMLU и GLM-130B на сложном бенчмарке C-Eval. В отчете приведены основные детали предварительного обучения аналогичной модели, включая обработку данных для предварительного обучения, сбор двуязычных данных Flan, эмпирические наблюдения, вдохновившие нашу архитектуру модели, цели обучения на разных этапах и другие методы улучшения. Мы реорганизовали наш код в соответствии с принципами библиотеки Huggingface Transformers, что делает его более удобным для разработчиков, и опубликовали контрольные точки различных этапов обучения на https://huggingface.co/openBA. Дополнительные сведения о нашем проекте доступны на https://github.com/OpenNLG/openBA.git.
English
Large language models (LLMs) with billions of parameters have demonstrated outstanding performance on various natural language processing tasks. This report presents OpenBA, an open-sourced 15B bilingual asymmetric seq2seq model, to contribute an LLM variant to the Chinese-oriented open-source model community. We enhance OpenBA with effective and efficient techniques as well as adopt a three-stage training strategy to train the model from scratch. Our solution can also achieve very competitive performance with only 380B tokens, which is better than LLaMA-70B on the BELEBELE benchmark, BLOOM-176B on the MMLU benchmark, GLM-130B on the C-Eval (hard) benchmark. This report provides the main details to pre-train an analogous model, including pre-training data processing, Bilingual Flan data collection, the empirical observations that inspire our model architecture design, training objectives of different stages, and other enhancement techniques. We have refactored our code to follow the design principles of the Huggingface Transformers Library, making it more convenient for developers to use, and released checkpoints of different training stages at https://huggingface.co/openBA. More details of our project are available at https://github.com/OpenNLG/openBA.git.
PDF171December 15, 2024