Jais et Jais-chat : Modèles de langage génératif ouvert de base et ajustés par instruction, centrés sur l'arabe

Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models

August 30, 2023

Auteurs: Neha Sengupta, Sunil Kumar Sahu, Bokang Jia, Satheesh Katipomu, Haonan Li, Fajri Koto, Osama Mohammed Afzal, Samta Kamboj, Onkar Pandit, Rahul Pal, Lalit Pradhan, Zain Muhammad Mujahid, Massa Baali, Alham Fikri Aji, Zhengzhong Liu, Andy Hock, Andrew Feldman, Jonathan Lee, Andrew Jackson, Preslav Nakov, Timothy Baldwin, Eric Xing

cs.AI

Résumé

Nous présentons Jais et Jais-chat, de nouveaux modèles de langage génératif ouvert (LLM) de pointe, centrés sur l’arabe, de type fondation et ajustés par instruction. Ces modèles sont basés sur l’architecture décodage-seule de GPT-3 et ont été pré-entraînés sur un mélange de textes en arabe et en anglais, incluant du code source dans divers langages de programmation. Avec 13 milliards de paramètres, ils démontrent des capacités de connaissance et de raisonnement en arabe supérieures à celles de tout modèle ouvert arabe ou multilingue existant, avec une marge significative, selon une évaluation approfondie. De plus, ces modèles sont compétitifs en anglais par rapport aux modèles ouverts centrés sur l’anglais de taille similaire, malgré un entraînement sur beaucoup moins de données en anglais. Nous fournissons une description détaillée de l’entraînement, de l’ajustement, de l’alignement de sécurité et de l’évaluation des modèles. Nous publions deux versions ouvertes du modèle — le modèle fondation Jais et une variante ajustée par instruction, Jais-chat — dans le but de promouvoir la recherche sur les LLM arabes. Disponibles sur https://huggingface.co/inception-mbzuai/jais-13b-chat.

English

We introduce Jais and Jais-chat, new state-of-the-art Arabic-centric foundation and instruction-tuned open generative large language models (LLMs). The models are based on the GPT-3 decoder-only architecture and are pretrained on a mixture of Arabic and English texts, including source code in various programming languages. With 13 billion parameters, they demonstrate better knowledge and reasoning capabilities in Arabic than any existing open Arabic and multilingual models by a sizable margin, based on extensive evaluation. Moreover, the models are competitive in English compared to English-centric open models of similar size, despite being trained on much less English data. We provide a detailed description of the training, the tuning, the safety alignment, and the evaluation of the models. We release two open versions of the model -- the foundation Jais model, and an instruction-tuned Jais-chat variant -- with the aim of promoting research on Arabic LLMs. Available at https://huggingface.co/inception-mbzuai/jais-13b-chat