Jais en Jais-chat: Arabisch-gecentreerde foundation en instruction-tuned open generatieve grote taalmodellen

Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models

August 30, 2023

Auteurs: Neha Sengupta, Sunil Kumar Sahu, Bokang Jia, Satheesh Katipomu, Haonan Li, Fajri Koto, Osama Mohammed Afzal, Samta Kamboj, Onkar Pandit, Rahul Pal, Lalit Pradhan, Zain Muhammad Mujahid, Massa Baali, Alham Fikri Aji, Zhengzhong Liu, Andy Hock, Andrew Feldman, Jonathan Lee, Andrew Jackson, Preslav Nakov, Timothy Baldwin, Eric Xing

cs.AI

Samenvatting

We introduceren Jais en Jais-chat, nieuwe state-of-the-art Arabisch-gerichte foundation en instruction-tuned open generatieve grote taalmodellen (LLMs). De modellen zijn gebaseerd op de GPT-3 decoder-only architectuur en zijn voorgetraind op een mix van Arabische en Engelse teksten, inclusief broncode in verschillende programmeertalen. Met 13 miljard parameters tonen ze betere kennis en redeneervaardigheden in het Arabisch aan dan enig bestaand open Arabisch en meertalig model met een aanzienlijke marge, gebaseerd op uitgebreide evaluatie. Bovendien zijn de modellen competitief in het Engels vergeleken met Engels-gerichte open modellen van vergelijkbare grootte, ondanks dat ze op veel minder Engelse data zijn getraind. We bieden een gedetailleerde beschrijving van de training, de tuning, de veiligheidsafstemming en de evaluatie van de modellen. We brengen twee open versies van het model uit -- het foundation Jais-model en een instruction-tuned Jais-chat variant -- met als doel onderzoek naar Arabische LLMs te bevorderen. Beschikbaar op https://huggingface.co/inception-mbzuai/jais-13b-chat.

English

We introduce Jais and Jais-chat, new state-of-the-art Arabic-centric foundation and instruction-tuned open generative large language models (LLMs). The models are based on the GPT-3 decoder-only architecture and are pretrained on a mixture of Arabic and English texts, including source code in various programming languages. With 13 billion parameters, they demonstrate better knowledge and reasoning capabilities in Arabic than any existing open Arabic and multilingual models by a sizable margin, based on extensive evaluation. Moreover, the models are competitive in English compared to English-centric open models of similar size, despite being trained on much less English data. We provide a detailed description of the training, the tuning, the safety alignment, and the evaluation of the models. We release two open versions of the model -- the foundation Jais model, and an instruction-tuned Jais-chat variant -- with the aim of promoting research on Arabic LLMs. Available at https://huggingface.co/inception-mbzuai/jais-13b-chat