TigerBot: 오픈 소스 다국어 멀티태스크 대형 언어 모델

초록

우리는 70억, 130억, 700억, 1800억 파라미터 규모의 베이스 모델과 채팅 모델로 구성된 TigerBot 대형 언어 모델(LLM) 패밀리를 공개하고 소개합니다. 우리는 Llama-2와 BLOOM을 출발점으로 삼아 모델을 개발했으며, 데이터, 훈련 알고리즘, 인프라, 그리고 애플리케이션 도구 측면에서 한계를 더욱 확장했습니다. 우리의 모델은 Llama-2와 같은 최신 오픈소스 모델 대비 의미 있는 성능 향상을 보여주며, 특히 영어에서는 6%, 중국어에서는 20%의 성능 향상을 달성했습니다. TigerBot 모델 패밀리는 주요 학계 및 산업 벤치마크와 리더보드에서도 선도적인 성능을 보여줍니다. 우리는 TigerBot이 LLM 오픈소스 커뮤니티의 급속한 발전의 한 단면을 보여준다고 믿습니다. 따라서, 우리는 모델을 공개적으로 배포하고 그 배후의 접근 방식을 공유함으로써 커뮤니티에 기여하고자 합니다. 특히, 민주화된 방식으로 최신 LLM을 구축하고 실생활에서 유용한 LLM을 만드는 데 중점을 두었습니다.

English

We release and introduce the TigerBot family of large language models (LLMs), consisting of base and chat models, sized from 7, 13, 70 and 180 billion parameters. We develop our models embarking from Llama-2 and BLOOM, and push the boundary further in data, training algorithm, infrastructure, and application tools. Our models yield meaningful performance gain over SOTA open-source models, e.g., Llama-2, specifically 6\% gain in English and 20\% gain in Chinese. TigerBot model family also achieves leading performance in major academic and industrial benchmarks and leaderboards. We believe that TigerBot represents just a snapshot of lightning-fast progression in LLM open-source community. Therefore, we are thrilled to give back by publicly releasing our models and reporting our approach behind, with additional emphases on building SOTA LLMs in a democratized way and making LLMs of use in real-world applications.

TigerBot: 오픈 소스 다국어 멀티태스크 대형 언어 모델

TigerBot: An Open Multilingual Multitask LLM

초록

Support