Jais и Jais-chat: арабоцентричные базовые и настроенные на инструкции открытые генеративные большие языковые модели
Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models
August 30, 2023
Авторы: Neha Sengupta, Sunil Kumar Sahu, Bokang Jia, Satheesh Katipomu, Haonan Li, Fajri Koto, Osama Mohammed Afzal, Samta Kamboj, Onkar Pandit, Rahul Pal, Lalit Pradhan, Zain Muhammad Mujahid, Massa Baali, Alham Fikri Aji, Zhengzhong Liu, Andy Hock, Andrew Feldman, Jonathan Lee, Andrew Jackson, Preslav Nakov, Timothy Baldwin, Eric Xing
cs.AI
Аннотация
Мы представляем Jais и Jais-chat — новые передовые генеративные большие языковые модели (LLM), ориентированные на арабский язык, с базовой архитектурой и настроенные на выполнение инструкций. Модели основаны на архитектуре GPT-3 с использованием только декодера и предварительно обучены на смеси арабских и английских текстов, включая исходный код на различных языках программирования. С 13 миллиардами параметров они демонстрируют значительно более высокие знания и способности к рассуждению на арабском языке по сравнению с любыми существующими открытыми арабскими и многоязычными моделями, что подтверждается обширной оценкой. Кроме того, модели конкурентоспособны в английском языке по сравнению с аналогичными по размеру моделями, ориентированными на английский, несмотря на обучение на значительно меньшем объеме английских данных. Мы предоставляем подробное описание процесса обучения, настройки, обеспечения безопасности и оценки моделей. Мы выпускаем две открытые версии модели — базовую модель Jais и настроенную на выполнение инструкций версию Jais-chat — с целью стимулирования исследований в области арабских LLM. Модели доступны по адресу https://huggingface.co/inception-mbzuai/jais-13b-chat.
English
We introduce Jais and Jais-chat, new state-of-the-art Arabic-centric
foundation and instruction-tuned open generative large language models (LLMs).
The models are based on the GPT-3 decoder-only architecture and are pretrained
on a mixture of Arabic and English texts, including source code in various
programming languages. With 13 billion parameters, they demonstrate better
knowledge and reasoning capabilities in Arabic than any existing open Arabic
and multilingual models by a sizable margin, based on extensive evaluation.
Moreover, the models are competitive in English compared to English-centric
open models of similar size, despite being trained on much less English data.
We provide a detailed description of the training, the tuning, the safety
alignment, and the evaluation of the models. We release two open versions of
the model -- the foundation Jais model, and an instruction-tuned Jais-chat
variant -- with the aim of promoting research on Arabic LLMs. Available at
https://huggingface.co/inception-mbzuai/jais-13b-chat