Jais e Jais-chat: Modelos de Linguagem Generativos de Grande Escala com Base e Ajuste Instrucional Centrados no Árabe e Abertos
Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models
August 30, 2023
Autores: Neha Sengupta, Sunil Kumar Sahu, Bokang Jia, Satheesh Katipomu, Haonan Li, Fajri Koto, Osama Mohammed Afzal, Samta Kamboj, Onkar Pandit, Rahul Pal, Lalit Pradhan, Zain Muhammad Mujahid, Massa Baali, Alham Fikri Aji, Zhengzhong Liu, Andy Hock, Andrew Feldman, Jonathan Lee, Andrew Jackson, Preslav Nakov, Timothy Baldwin, Eric Xing
cs.AI
Resumo
Apresentamos o Jais e o Jais-chat, novos modelos generativos de linguagem de grande escala (LLMs) de última geração, centrados no árabe, tanto na versão base quanto na versão ajustada para instruções. Esses modelos são baseados na arquitetura de apenas decodificação do GPT-3 e foram pré-treinados em uma mistura de textos em árabe e inglês, incluindo código-fonte em várias linguagens de programação. Com 13 bilhões de parâmetros, eles demonstram capacidades superiores de conhecimento e raciocínio em árabe em comparação com qualquer modelo aberto existente em árabe ou multilíngue, com uma margem significativa, com base em uma avaliação extensiva. Além disso, os modelos são competitivos em inglês quando comparados a modelos abertos centrados no inglês de tamanho similar, apesar de terem sido treinados com muito menos dados em inglês. Fornecemos uma descrição detalhada do treinamento, do ajuste fino, do alinhamento de segurança e da avaliação dos modelos. Lançamos duas versões abertas do modelo — o modelo base Jais e uma variante ajustada para instruções, o Jais-chat — com o objetivo de promover pesquisas sobre LLMs em árabe. Disponível em https://huggingface.co/inception-mbzuai/jais-13b-chat.
English
We introduce Jais and Jais-chat, new state-of-the-art Arabic-centric
foundation and instruction-tuned open generative large language models (LLMs).
The models are based on the GPT-3 decoder-only architecture and are pretrained
on a mixture of Arabic and English texts, including source code in various
programming languages. With 13 billion parameters, they demonstrate better
knowledge and reasoning capabilities in Arabic than any existing open Arabic
and multilingual models by a sizable margin, based on extensive evaluation.
Moreover, the models are competitive in English compared to English-centric
open models of similar size, despite being trained on much less English data.
We provide a detailed description of the training, the tuning, the safety
alignment, and the evaluation of the models. We release two open versions of
the model -- the foundation Jais model, and an instruction-tuned Jais-chat
variant -- with the aim of promoting research on Arabic LLMs. Available at
https://huggingface.co/inception-mbzuai/jais-13b-chat