TigerBot: オープンな多言語マルチタスクLLM

要旨

私たちは、TigerBotファミリーの大規模言語モデル（LLM）をリリースし、紹介します。このファミリーは、ベースモデルとチャットモデルで構成され、7B、13B、70B、180Bのパラメータサイズを備えています。私たちのモデルは、Llama-2とBLOOMを出発点として開発され、データ、トレーニングアルゴリズム、インフラストラクチャ、アプリケーションツールの面でさらに限界を押し広げています。私たちのモデルは、SOTA（State-of-the-Art）のオープンソースモデル、特にLlama-2に対して、英語で6%、中国語で20%の有意な性能向上をもたらします。TigerBotモデルファミリーは、主要な学術および産業のベンチマークやリーダーボードでもトップクラスの性能を達成しています。私たちは、TigerBotがLLMオープンソースコミュニティにおける急速な進化の一瞬を捉えたものであると信じています。そのため、私たちはモデルを公開し、その背後にあるアプローチを報告することで、SOTA LLMを民主的な方法で構築し、LLMを現実世界のアプリケーションで活用することを強調しながら、コミュニティに還元できることを嬉しく思います。

English

We release and introduce the TigerBot family of large language models (LLMs), consisting of base and chat models, sized from 7, 13, 70 and 180 billion parameters. We develop our models embarking from Llama-2 and BLOOM, and push the boundary further in data, training algorithm, infrastructure, and application tools. Our models yield meaningful performance gain over SOTA open-source models, e.g., Llama-2, specifically 6\% gain in English and 20\% gain in Chinese. TigerBot model family also achieves leading performance in major academic and industrial benchmarks and leaderboards. We believe that TigerBot represents just a snapshot of lightning-fast progression in LLM open-source community. Therefore, we are thrilled to give back by publicly releasing our models and reporting our approach behind, with additional emphases on building SOTA LLMs in a democratized way and making LLMs of use in real-world applications.

TigerBot: オープンな多言語マルチタスクLLM

TigerBot: An Open Multilingual Multitask LLM

要旨

Support