Nile-Chat : Modèles de langage égyptiens pour les scripts arabe et latin

Nile-Chat: Egyptian Language Models for Arabic and Latin Scripts

July 6, 2025

papers.authors: Guokan Shang, Hadi Abdine, Ahmad Chamma, Amr Mohamed, Mohamed Anwar, Abdelaziz Bounhar, Omar El Herraoui, Preslav Nakov, Michalis Vazirgiannis, Eric Xing

cs.AI

papers.abstract

Nous présentons Nile-Chat-4B, 3x4B-A6B et 12B, une collection de modèles de langage de grande taille (LLMs) pour le dialecte égyptien, conçus de manière unique pour comprendre et générer des textes écrits à la fois en caractères arabes et latins. Plus précisément, avec Nile-Chat-3x4B-A6B, nous introduisons une nouvelle approche d'adaptation linguistique en exploitant la stratégie Branch-Train-MiX pour fusionner des experts spécialisés dans chaque script en un seul modèle MoE (Mixture of Experts). Nos modèles Nile-Cchat surpassent significativement les principaux LLMs multilingues et arabes, tels que LLaMa, Jais et ALLaM, sur nos nouveaux benchmarks d'évaluation égyptiens, qui couvrent à la fois des tâches de compréhension et de génération. Notamment, notre modèle 12B obtient un gain de performance de 14,4 % par rapport à Qwen2.5-14B-Instruct sur les benchmarks en caractères latins. Toutes nos ressources sont publiquement disponibles. Nous pensons que ce travail présente une méthodologie complète pour adapter les LLMs aux langues à double script, abordant un aspect souvent négligé dans le développement moderne des LLMs.

English

We introduce Nile-Chat-4B, 3x4B-A6B, and 12B, a collection of LLMs for Egyptian dialect, uniquely designed to understand and generate texts written in both Arabic and Latin scripts. Specifically, with Nile-Chat-3x4B-A6B, we introduce a novel language adaptation approach by leveraging the Branch-Train-MiX strategy to merge script-specialized experts, into a single MoE model. Our Nile-Chat models significantly outperform leading multilingual and Arabic LLMs, such as LLaMa, Jais, and ALLaM, on our newly introduced Egyptian evaluation benchmarks, which span both understanding and generative tasks. Notably, our 12B model yields a 14.4% performance gain over Qwen2.5-14B-Instruct on Latin-script benchmarks. All our resources are publicly available. We believe this work presents a comprehensive methodology for adapting LLMs to dual-script languages, addressing an often overlooked aspect in modern LLM development.