TigerBot: Открытая многоязычная многозадачная языковая модель
TigerBot: An Open Multilingual Multitask LLM
December 14, 2023
Авторы: Ye Chen, Wei Cai, Liangmin Wu, Xiaowei Li, Zhanxuan Xin, Cong Fu
cs.AI
Аннотация
Мы представляем семейство больших языковых моделей (LLM) TigerBot, включающее базовые и чат-модели с размерами от 7, 13, 70 до 180 миллиардов параметров. Наши модели разработаны на основе Llama-2 и BLOOM, и мы продвигаем границы возможностей в области данных, алгоритмов обучения, инфраструктуры и инструментов для приложений. Наши модели демонстрируют значительный прирост производительности по сравнению с современными открытыми моделями, такими как Llama-2, с улучшением на 6% для английского языка и на 20% для китайского. Семейство моделей TigerBot также достигает лидирующих результатов в основных академических и промышленных бенчмарках и рейтингах. Мы считаем, что TigerBot представляет собой лишь моментальный снимок стремительного прогресса в сообществе открытых LLM. Поэтому мы с радостью делимся нашими моделями, публично выпуская их и описывая наш подход, с особым акцентом на создание современных LLM в демократизированной манере и их применение в реальных задачах.
English
We release and introduce the TigerBot family of large language models (LLMs),
consisting of base and chat models, sized from 7, 13, 70 and 180 billion
parameters. We develop our models embarking from Llama-2 and BLOOM, and push
the boundary further in data, training algorithm, infrastructure, and
application tools. Our models yield meaningful performance gain over SOTA
open-source models, e.g., Llama-2, specifically 6\% gain in English and 20\%
gain in Chinese. TigerBot model family also achieves leading performance in
major academic and industrial benchmarks and leaderboards. We believe that
TigerBot represents just a snapshot of lightning-fast progression in LLM
open-source community. Therefore, we are thrilled to give back by publicly
releasing our models and reporting our approach behind, with additional
emphases on building SOTA LLMs in a democratized way and making LLMs of use in
real-world applications.