TigerBot: Um Modelo de Linguagem Multitarefa Multilíngue de Código Aberto

TigerBot: An Open Multilingual Multitask LLM

December 14, 2023

Autores: Ye Chen, Wei Cai, Liangmin Wu, Xiaowei Li, Zhanxuan Xin, Cong Fu

cs.AI

Resumo

Apresentamos e lançamos a família de modelos de linguagem de grande escala (LLMs) TigerBot, composta por modelos base e de chat, com tamanhos variando de 7, 13, 70 e 180 bilhões de parâmetros. Desenvolvemos nossos modelos partindo de Llama-2 e BLOOM, e avançamos ainda mais as fronteiras em dados, algoritmos de treinamento, infraestrutura e ferramentas de aplicação. Nossos modelos apresentam ganhos significativos de desempenho em relação aos modelos de código aberto mais avançados (SOTA), como o Llama-2, especificamente um ganho de 6% em inglês e 20% em chinês. A família de modelos TigerBot também alcança desempenho líder em benchmarks e rankings acadêmicos e industriais importantes. Acreditamos que o TigerBot representa apenas um instantâneo do progresso extremamente rápido na comunidade de LLMs de código aberto. Portanto, estamos entusiasmados em contribuir, liberando publicamente nossos modelos e relatando nossa abordagem, com ênfase adicional na construção de LLMs SOTA de forma democratizada e na aplicação prática de LLMs em cenários do mundo real.

English

We release and introduce the TigerBot family of large language models (LLMs), consisting of base and chat models, sized from 7, 13, 70 and 180 billion parameters. We develop our models embarking from Llama-2 and BLOOM, and push the boundary further in data, training algorithm, infrastructure, and application tools. Our models yield meaningful performance gain over SOTA open-source models, e.g., Llama-2, specifically 6\% gain in English and 20\% gain in Chinese. TigerBot model family also achieves leading performance in major academic and industrial benchmarks and leaderboards. We believe that TigerBot represents just a snapshot of lightning-fast progression in LLM open-source community. Therefore, we are thrilled to give back by publicly releasing our models and reporting our approach behind, with additional emphases on building SOTA LLMs in a democratized way and making LLMs of use in real-world applications.