Jais und Jais-chat: Arabisch-zentrierte Foundation- und Instruction-Tuning Open Generative Large Language Models

Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models

August 30, 2023

Autoren: Neha Sengupta, Sunil Kumar Sahu, Bokang Jia, Satheesh Katipomu, Haonan Li, Fajri Koto, Osama Mohammed Afzal, Samta Kamboj, Onkar Pandit, Rahul Pal, Lalit Pradhan, Zain Muhammad Mujahid, Massa Baali, Alham Fikri Aji, Zhengzhong Liu, Andy Hock, Andrew Feldman, Jonathan Lee, Andrew Jackson, Preslav Nakov, Timothy Baldwin, Eric Xing

cs.AI

Zusammenfassung

Wir stellen Jais und Jais-chat vor, neue, state-of-the-art, arabisch-zentrierte Foundation- und Instruction-Tuned Open Generative Large Language Models (LLMs). Die Modelle basieren auf der GPT-3-Decoder-only-Architektur und wurden auf einer Mischung aus arabischen und englischen Texten sowie Quellcode in verschiedenen Programmiersprachen vortrainiert. Mit 13 Milliarden Parametern zeigen sie bessere Wissens- und Argumentationsfähigkeiten in Arabisch als alle bestehenden offenen arabischen und multilingualen Modelle, basierend auf umfangreichen Evaluierungen. Darüber hinaus sind die Modelle im Vergleich zu englisch-zentrierten Open-Modellen ähnlicher Größe wettbewerbsfähig in Englisch, obwohl sie mit deutlich weniger englischen Daten trainiert wurden. Wir liefern eine detaillierte Beschreibung des Trainings, des Tunings, der Sicherheitsausrichtung und der Evaluierung der Modelle. Wir veröffentlichen zwei offene Versionen des Modells – das Foundation-Modell Jais und eine Instruction-Tuned-Variante Jais-chat – mit dem Ziel, die Forschung zu arabischen LLMs zu fördern. Verfügbar unter https://huggingface.co/inception-mbzuai/jais-13b-chat.

English

We introduce Jais and Jais-chat, new state-of-the-art Arabic-centric foundation and instruction-tuned open generative large language models (LLMs). The models are based on the GPT-3 decoder-only architecture and are pretrained on a mixture of Arabic and English texts, including source code in various programming languages. With 13 billion parameters, they demonstrate better knowledge and reasoning capabilities in Arabic than any existing open Arabic and multilingual models by a sizable margin, based on extensive evaluation. Moreover, the models are competitive in English compared to English-centric open models of similar size, despite being trained on much less English data. We provide a detailed description of the training, the tuning, the safety alignment, and the evaluation of the models. We release two open versions of the model -- the foundation Jais model, and an instruction-tuned Jais-chat variant -- with the aim of promoting research on Arabic LLMs. Available at https://huggingface.co/inception-mbzuai/jais-13b-chat