Jais y Jais-chat: Modelos Generativos Abiertos de Gran Escala Centrados en el Árabe, con Ajuste de Base y de Instrucciones

Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models

August 30, 2023

Autores: Neha Sengupta, Sunil Kumar Sahu, Bokang Jia, Satheesh Katipomu, Haonan Li, Fajri Koto, Osama Mohammed Afzal, Samta Kamboj, Onkar Pandit, Rahul Pal, Lalit Pradhan, Zain Muhammad Mujahid, Massa Baali, Alham Fikri Aji, Zhengzhong Liu, Andy Hock, Andrew Feldman, Jonathan Lee, Andrew Jackson, Preslav Nakov, Timothy Baldwin, Eric Xing

cs.AI

Resumen

Presentamos Jais y Jais-chat, nuevos modelos generativos abiertos de gran escala (LLMs) de última generación centrados en el árabe, tanto en su versión base como ajustada para instrucciones. Estos modelos se basan en la arquitectura de solo decodificador de GPT-3 y fueron preentrenados con una mezcla de textos en árabe e inglés, incluyendo código fuente en varios lenguajes de programación. Con 13 mil millones de parámetros, demuestran capacidades superiores de conocimiento y razonamiento en árabe en comparación con cualquier modelo abierto existente en árabe y multilingüe, según una evaluación exhaustiva. Además, los modelos son competitivos en inglés frente a modelos abiertos centrados en inglés de tamaño similar, a pesar de haber sido entrenados con mucha menos cantidad de datos en inglés. Ofrecemos una descripción detallada del entrenamiento, el ajuste, la alineación de seguridad y la evaluación de los modelos. Publicamos dos versiones abiertas del modelo: el modelo base Jais y una variante ajustada para instrucciones, Jais-chat, con el objetivo de fomentar la investigación en LLMs en árabe. Disponible en https://huggingface.co/inception-mbzuai/jais-13b-chat.

English

We introduce Jais and Jais-chat, new state-of-the-art Arabic-centric foundation and instruction-tuned open generative large language models (LLMs). The models are based on the GPT-3 decoder-only architecture and are pretrained on a mixture of Arabic and English texts, including source code in various programming languages. With 13 billion parameters, they demonstrate better knowledge and reasoning capabilities in Arabic than any existing open Arabic and multilingual models by a sizable margin, based on extensive evaluation. Moreover, the models are competitive in English compared to English-centric open models of similar size, despite being trained on much less English data. We provide a detailed description of the training, the tuning, the safety alignment, and the evaluation of the models. We release two open versions of the model -- the foundation Jais model, and an instruction-tuned Jais-chat variant -- with the aim of promoting research on Arabic LLMs. Available at https://huggingface.co/inception-mbzuai/jais-13b-chat