TigerBot: Ein offenes, mehrsprachiges und multitaskfähiges LLM

TigerBot: An Open Multilingual Multitask LLM

December 14, 2023

Autoren: Ye Chen, Wei Cai, Liangmin Wu, Xiaowei Li, Zhanxuan Xin, Cong Fu

cs.AI

Zusammenfassung

Wir stellen die TigerBot-Familie von Large Language Models (LLMs) vor und veröffentlichen sie, die aus Basis- und Chat-Modellen besteht und Größen von 7, 13, 70 und 180 Milliarden Parametern umfasst. Unsere Modelle entwickeln wir ausgehend von Llama-2 und BLOOM und treiben die Grenzen in den Bereichen Daten, Trainingsalgorithmen, Infrastruktur und Anwendungstools weiter voran. Unsere Modelle erzielen signifikante Leistungssteigerungen gegenüber den aktuell besten Open-Source-Modellen, wie z. B. Llama-2, mit spezifischen Verbesserungen von 6 % im Englischen und 20 % im Chinesischen. Die TigerBot-Modellfamilie erreicht auch führende Leistungen in wichtigen akademischen und industriellen Benchmarks und Leaderboards. Wir glauben, dass TigerBot nur eine Momentaufnahme des rasanten Fortschritts in der Open-Source-Community für LLMs darstellt. Daher freuen wir uns, etwas zurückzugeben, indem wir unsere Modelle öffentlich veröffentlichen und unseren Ansatz dahinter dokumentieren, mit besonderem Fokus auf den Aufbau von state-of-the-art LLMs auf demokratisierte Weise und die Nutzbarmachung von LLMs in realen Anwendungen.

English

We release and introduce the TigerBot family of large language models (LLMs), consisting of base and chat models, sized from 7, 13, 70 and 180 billion parameters. We develop our models embarking from Llama-2 and BLOOM, and push the boundary further in data, training algorithm, infrastructure, and application tools. Our models yield meaningful performance gain over SOTA open-source models, e.g., Llama-2, specifically 6\% gain in English and 20\% gain in Chinese. TigerBot model family also achieves leading performance in major academic and industrial benchmarks and leaderboards. We believe that TigerBot represents just a snapshot of lightning-fast progression in LLM open-source community. Therefore, we are thrilled to give back by publicly releasing our models and reporting our approach behind, with additional emphases on building SOTA LLMs in a democratized way and making LLMs of use in real-world applications.