TigerBot : Un modèle de langage multilingue et multitâche open source
TigerBot: An Open Multilingual Multitask LLM
December 14, 2023
Auteurs: Ye Chen, Wei Cai, Liangmin Wu, Xiaowei Li, Zhanxuan Xin, Cong Fu
cs.AI
Résumé
Nous publions et présentons la famille de modèles de langage de grande taille (LLM) TigerBot, composée de modèles de base et de modèles conversationnels, avec des tailles allant de 7, 13, 70 à 180 milliards de paramètres. Nous développons nos modèles en partant de Llama-2 et BLOOM, et repoussons les limites en matière de données, d'algorithmes d'entraînement, d'infrastructure et d'outils d'application. Nos modèles offrent des gains de performance significatifs par rapport aux modèles open-source de pointe (SOTA), tels que Llama-2, avec notamment une amélioration de 6 % en anglais et de 20 % en chinois. La famille de modèles TigerBot obtient également des performances de premier plan dans les principaux benchmarks académiques et industriels ainsi que dans les classements. Nous pensons que TigerBot représente un simple aperçu de la progression fulgurante de la communauté open-source des LLM. Par conséquent, nous sommes ravis de contribuer en publiant publiquement nos modèles et en détaillant notre approche, en mettant un accent particulier sur la construction de LLM SOTA de manière démocratisée et sur leur utilisation dans des applications réelles.
English
We release and introduce the TigerBot family of large language models (LLMs),
consisting of base and chat models, sized from 7, 13, 70 and 180 billion
parameters. We develop our models embarking from Llama-2 and BLOOM, and push
the boundary further in data, training algorithm, infrastructure, and
application tools. Our models yield meaningful performance gain over SOTA
open-source models, e.g., Llama-2, specifically 6\% gain in English and 20\%
gain in Chinese. TigerBot model family also achieves leading performance in
major academic and industrial benchmarks and leaderboards. We believe that
TigerBot represents just a snapshot of lightning-fast progression in LLM
open-source community. Therefore, we are thrilled to give back by publicly
releasing our models and reporting our approach behind, with additional
emphases on building SOTA LLMs in a democratized way and making LLMs of use in
real-world applications.