Jais와 Jais-chat: 아랍어 중심 기반 및 지시 튜닝된 오픈 생성형 대규모 언어 모델

초록

우리는 새로운 최첨단 아랍어 중심의 기반 및 지시 튜닝된 오픈 생성형 대규모 언어 모델(LLM)인 Jais와 Jais-chat을 소개한다. 이 모델들은 GPT-3 디코더 전용 아키텍처를 기반으로 하며, 다양한 프로그래밍 언어의 소스 코드를 포함한 아랍어와 영어 텍스트의 혼합 데이터로 사전 학습되었다. 130억 개의 파라미터를 가진 이 모델들은 광범위한 평가를 통해 기존의 오픈 아랍어 및 다국어 모델들보다 상당한 차이로 더 나은 아랍어 지식과 추론 능력을 보여준다. 또한, 이 모델들은 훨씬 적은 영어 데이터로 학습되었음에도 불구하고, 비슷한 크기의 영어 중심 오픈 모델들과 비교하여 영어에서도 경쟁력을 보인다. 우리는 모델의 학습, 튜닝, 안전성 정렬 및 평가에 대한 상세한 설명을 제공한다. 아랍어 LLM 연구를 촉진하기 위해 기반 Jais 모델과 지시 튜닝된 Jais-chat 변형 모델의 두 가지 오픈 버전을 공개한다. 이 모델들은 https://huggingface.co/inception-mbzuai/jais-13b-chat에서 이용 가능하다.

English

We introduce Jais and Jais-chat, new state-of-the-art Arabic-centric foundation and instruction-tuned open generative large language models (LLMs). The models are based on the GPT-3 decoder-only architecture and are pretrained on a mixture of Arabic and English texts, including source code in various programming languages. With 13 billion parameters, they demonstrate better knowledge and reasoning capabilities in Arabic than any existing open Arabic and multilingual models by a sizable margin, based on extensive evaluation. Moreover, the models are competitive in English compared to English-centric open models of similar size, despite being trained on much less English data. We provide a detailed description of the training, the tuning, the safety alignment, and the evaluation of the models. We release two open versions of the model -- the foundation Jais model, and an instruction-tuned Jais-chat variant -- with the aim of promoting research on Arabic LLMs. Available at https://huggingface.co/inception-mbzuai/jais-13b-chat

Jais와 Jais-chat: 아랍어 중심 기반 및 지시 튜닝된 오픈 생성형 대규모 언어 모델

Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models

초록

Support