Jais e Jais-chat: Modelli Linguistici Generativi Open di Base e Ottimizzati per Istruzioni con Focus sull'Arabo

Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models

August 30, 2023

Autori: Neha Sengupta, Sunil Kumar Sahu, Bokang Jia, Satheesh Katipomu, Haonan Li, Fajri Koto, Osama Mohammed Afzal, Samta Kamboj, Onkar Pandit, Rahul Pal, Lalit Pradhan, Zain Muhammad Mujahid, Massa Baali, Alham Fikri Aji, Zhengzhong Liu, Andy Hock, Andrew Feldman, Jonathan Lee, Andrew Jackson, Preslav Nakov, Timothy Baldwin, Eric Xing

cs.AI

Abstract

Presentiamo Jais e Jais-chat, nuovi modelli generativi open di grandi dimensioni (LLM) all'avanguardia, focalizzati sull'arabo e ottimizzati per le istruzioni. I modelli si basano sull'architettura decoder-only di GPT-3 e sono pre-addestrati su una miscela di testi in arabo e inglese, inclusi codici sorgente in vari linguaggi di programmazione. Con 13 miliardi di parametri, dimostrano capacità di conoscenza e ragionamento in arabo superiori rispetto a qualsiasi altro modello open arabo e multilingue esistente, con un margine significativo, come evidenziato da un'ampia valutazione. Inoltre, i modelli sono competitivi in inglese rispetto a modelli open di dimensioni simili focalizzati sull'inglese, nonostante siano stati addestrati su una quantità molto minore di dati in inglese. Forniamo una descrizione dettagliata dell'addestramento, dell'ottimizzazione, dell'allineamento alla sicurezza e della valutazione dei modelli. Rilasciamo due versioni open del modello — il modello di base Jais e una variante ottimizzata per le istruzioni, Jais-chat — con l'obiettivo di promuovere la ricerca sui LLM in arabo. Disponibili su https://huggingface.co/inception-mbzuai/jais-13b-chat.

English

We introduce Jais and Jais-chat, new state-of-the-art Arabic-centric foundation and instruction-tuned open generative large language models (LLMs). The models are based on the GPT-3 decoder-only architecture and are pretrained on a mixture of Arabic and English texts, including source code in various programming languages. With 13 billion parameters, they demonstrate better knowledge and reasoning capabilities in Arabic than any existing open Arabic and multilingual models by a sizable margin, based on extensive evaluation. Moreover, the models are competitive in English compared to English-centric open models of similar size, despite being trained on much less English data. We provide a detailed description of the training, the tuning, the safety alignment, and the evaluation of the models. We release two open versions of the model -- the foundation Jais model, and an instruction-tuned Jais-chat variant -- with the aim of promoting research on Arabic LLMs. Available at https://huggingface.co/inception-mbzuai/jais-13b-chat