TigerBot: Un Modelo de Lenguaje Multilingüe y Multitarea de Código Abierto

TigerBot: An Open Multilingual Multitask LLM

December 14, 2023

Autores: Ye Chen, Wei Cai, Liangmin Wu, Xiaowei Li, Zhanxuan Xin, Cong Fu

cs.AI

Resumen

Presentamos la familia de modelos de lenguaje extenso (LLMs) TigerBot, que consta de modelos base y de chat, con tamaños que van desde 7, 13, 70 hasta 180 mil millones de parámetros. Desarrollamos nuestros modelos partiendo de Llama-2 y BLOOM, y llevamos los límites más allá en términos de datos, algoritmos de entrenamiento, infraestructura y herramientas de aplicación. Nuestros modelos muestran mejoras significativas en el rendimiento sobre los modelos de código abierto más avanzados (SOTA), como Llama-2, específicamente un 6% de mejora en inglés y un 20% en chino. La familia de modelos TigerBot también alcanza un rendimiento líder en los principales benchmarks académicos e industriales y en las tablas de clasificación. Creemos que TigerBot representa solo una instantánea del progreso extremadamente rápido en la comunidad de código abierto de LLMs. Por ello, estamos emocionados de contribuir liberando públicamente nuestros modelos y compartiendo nuestro enfoque, con un énfasis adicional en la construcción de LLMs SOTA de manera democratizada y en hacer que los LLMs sean útiles en aplicaciones del mundo real.

English

We release and introduce the TigerBot family of large language models (LLMs), consisting of base and chat models, sized from 7, 13, 70 and 180 billion parameters. We develop our models embarking from Llama-2 and BLOOM, and push the boundary further in data, training algorithm, infrastructure, and application tools. Our models yield meaningful performance gain over SOTA open-source models, e.g., Llama-2, specifically 6\% gain in English and 20\% gain in Chinese. TigerBot model family also achieves leading performance in major academic and industrial benchmarks and leaderboards. We believe that TigerBot represents just a snapshot of lightning-fast progression in LLM open-source community. Therefore, we are thrilled to give back by publicly releasing our models and reporting our approach behind, with additional emphases on building SOTA LLMs in a democratized way and making LLMs of use in real-world applications.