Nile-Chat: Modelli Linguistici Egiziani per Alfabeti Arabi e Latini

Nile-Chat: Egyptian Language Models for Arabic and Latin Scripts

July 6, 2025

Autori: Guokan Shang, Hadi Abdine, Ahmad Chamma, Amr Mohamed, Mohamed Anwar, Abdelaziz Bounhar, Omar El Herraoui, Preslav Nakov, Michalis Vazirgiannis, Eric Xing

cs.AI

Abstract

Presentiamo Nile-Chat-4B, 3x4B-A6B e 12B, una collezione di LLM per il dialetto egiziano, progettati in modo unico per comprendere e generare testi scritti sia in caratteri arabi che latini. In particolare, con Nile-Chat-3x4B-A6B, introduciamo un nuovo approccio di adattamento linguistico sfruttando la strategia Branch-Train-MiX per fondere esperti specializzati nei diversi caratteri in un unico modello MoE. I nostri modelli Nile-Chat superano significativamente i principali LLM multilingue e arabi, come LLaMa, Jais e ALLaM, sui nostri nuovi benchmark di valutazione egiziani, che coprono sia compiti di comprensione che generativi. In particolare, il nostro modello 12B ottiene un miglioramento delle prestazioni del 14,4% rispetto a Qwen2.5-14B-Instruct sui benchmark in caratteri latini. Tutte le nostre risorse sono pubblicamente disponibili. Crediamo che questo lavoro presenti una metodologia completa per adattare gli LLM a lingue con doppio sistema di scrittura, affrontando un aspetto spesso trascurato nello sviluppo moderno degli LLM.

English

We introduce Nile-Chat-4B, 3x4B-A6B, and 12B, a collection of LLMs for Egyptian dialect, uniquely designed to understand and generate texts written in both Arabic and Latin scripts. Specifically, with Nile-Chat-3x4B-A6B, we introduce a novel language adaptation approach by leveraging the Branch-Train-MiX strategy to merge script-specialized experts, into a single MoE model. Our Nile-Chat models significantly outperform leading multilingual and Arabic LLMs, such as LLaMa, Jais, and ALLaM, on our newly introduced Egyptian evaluation benchmarks, which span both understanding and generative tasks. Notably, our 12B model yields a 14.4% performance gain over Qwen2.5-14B-Instruct on Latin-script benchmarks. All our resources are publicly available. We believe this work presents a comprehensive methodology for adapting LLMs to dual-script languages, addressing an often overlooked aspect in modern LLM development.