TigerBot: Een Open Multilingual Multitask LLM

TigerBot: An Open Multilingual Multitask LLM

December 14, 2023

Auteurs: Ye Chen, Wei Cai, Liangmin Wu, Xiaowei Li, Zhanxuan Xin, Cong Fu

cs.AI

Samenvatting

We introduceren en brengen de TigerBot-familie van grote taalmodellen (LLMs) uit, bestaande uit basis- en chatmodellen, met groottes van 7, 13, 70 en 180 miljard parameters. We ontwikkelen onze modellen uitgaande van Llama-2 en BLOOM, en verleggen de grenzen verder op het gebied van data, trainingsalgoritmen, infrastructuur en toepassingsgereedschappen. Onze modellen leveren een significante prestatieverbetering op ten opzichte van state-of-the-art (SOTA) open-source modellen, zoals Llama-2, met name een verbetering van 6% in het Engels en 20% in het Chinees. De TigerBot-modelfamilie behaalt ook toonaangevende prestaties in belangrijke academische en industriële benchmarks en ranglijsten. Wij geloven dat TigerBot slechts een momentopname vertegenwoordigt van de razendsnelle vooruitgang in de open-source LLM-gemeenschap. Daarom zijn we verheugd om iets terug te geven door onze modellen openbaar te maken en onze aanpak te delen, met extra nadruk op het bouwen van SOTA LLMs op een gedemocratiseerde manier en het bruikbaar maken van LLMs in real-world toepassingen.

English

We release and introduce the TigerBot family of large language models (LLMs), consisting of base and chat models, sized from 7, 13, 70 and 180 billion parameters. We develop our models embarking from Llama-2 and BLOOM, and push the boundary further in data, training algorithm, infrastructure, and application tools. Our models yield meaningful performance gain over SOTA open-source models, e.g., Llama-2, specifically 6\% gain in English and 20\% gain in Chinese. TigerBot model family also achieves leading performance in major academic and industrial benchmarks and leaderboards. We believe that TigerBot represents just a snapshot of lightning-fast progression in LLM open-source community. Therefore, we are thrilled to give back by publicly releasing our models and reporting our approach behind, with additional emphases on building SOTA LLMs in a democratized way and making LLMs of use in real-world applications.