JaisとJais-chat: アラビア語中心の基盤モデルと指示チューニングされたオープン生成型大規模言語モデル

要旨

私たちは、新たな最先端のアラビア語中心の基盤モデルおよび指示チューニングされたオープン生成型大規模言語モデル（LLMs）であるJaisとJais-chatを紹介します。これらのモデルは、GPT-3のデコーダー専用アーキテクチャに基づいており、アラビア語と英語のテキスト、およびさまざまなプログラミング言語のソースコードを含むデータセットで事前学習されています。130億のパラメータを持つこれらのモデルは、広範な評価に基づいて、既存のオープンなアラビア語および多言語モデルを大幅に上回るアラビア語の知識と推論能力を示しています。さらに、これらのモデルは、英語においても、類似サイズの英語中心のオープンモデルと競争力があり、はるかに少ない英語データで学習されているにもかかわらず優れた性能を発揮します。私たちは、モデルの学習、チューニング、安全性の調整、および評価について詳細に説明します。アラビア語LLMsの研究を促進するために、基盤モデルであるJaisと、指示チューニングされたJais-chatの2つのオープンバージョンを公開します。詳細はhttps://huggingface.co/inception-mbzuai/jais-13b-chatでご覧いただけます。

English

We introduce Jais and Jais-chat, new state-of-the-art Arabic-centric foundation and instruction-tuned open generative large language models (LLMs). The models are based on the GPT-3 decoder-only architecture and are pretrained on a mixture of Arabic and English texts, including source code in various programming languages. With 13 billion parameters, they demonstrate better knowledge and reasoning capabilities in Arabic than any existing open Arabic and multilingual models by a sizable margin, based on extensive evaluation. Moreover, the models are competitive in English compared to English-centric open models of similar size, despite being trained on much less English data. We provide a detailed description of the training, the tuning, the safety alignment, and the evaluation of the models. We release two open versions of the model -- the foundation Jais model, and an instruction-tuned Jais-chat variant -- with the aim of promoting research on Arabic LLMs. Available at https://huggingface.co/inception-mbzuai/jais-13b-chat

JaisとJais-chat: アラビア語中心の基盤モデルと指示チューニングされたオープン生成型大規模言語モデル

Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models

要旨

Support