Nile-Chat: Ägyptische Sprachmodelle für arabische und lateinische Schriften

Nile-Chat: Egyptian Language Models for Arabic and Latin Scripts

July 6, 2025

papers.authors: Guokan Shang, Hadi Abdine, Ahmad Chamma, Amr Mohamed, Mohamed Anwar, Abdelaziz Bounhar, Omar El Herraoui, Preslav Nakov, Michalis Vazirgiannis, Eric Xing

cs.AI

papers.abstract

Wir stellen Nile-Chat-4B, 3x4B-A6B und 12B vor, eine Sammlung von LLMs für den ägyptischen Dialekt, die speziell dafür entwickelt wurden, Texte in arabischer und lateinischer Schrift zu verstehen und zu generieren. Insbesondere führen wir mit Nile-Chat-3x4B-A6B einen neuartigen Ansatz zur Sprachadaption ein, indem wir die Branch-Train-MiX-Strategie nutzen, um schriftspezialisierte Experten in einem einzigen MoE-Modell zu vereinen. Unsere Nile-Chat-Modelle übertreffen führende mehrsprachige und arabische LLMs wie LLaMa, Jais und ALLaM deutlich in unseren neu eingeführten ägyptischen Evaluierungsbenchmarks, die sowohl Verständnis- als auch Generierungsaufgaben umfassen. Besonders hervorzuheben ist, dass unser 12B-Modell eine Leistungssteigerung von 14,4 % gegenüber Qwen2.5-14B-Instruct in Benchmarks mit lateinischer Schrift erzielt. Alle unsere Ressourcen sind öffentlich verfügbar. Wir glauben, dass diese Arbeit eine umfassende Methodik zur Anpassung von LLMs an zweischriftige Sprachen präsentiert und damit einen oft übersehenen Aspekt in der modernen LLM-Entwicklung adressiert.

English

We introduce Nile-Chat-4B, 3x4B-A6B, and 12B, a collection of LLMs for Egyptian dialect, uniquely designed to understand and generate texts written in both Arabic and Latin scripts. Specifically, with Nile-Chat-3x4B-A6B, we introduce a novel language adaptation approach by leveraging the Branch-Train-MiX strategy to merge script-specialized experts, into a single MoE model. Our Nile-Chat models significantly outperform leading multilingual and Arabic LLMs, such as LLaMa, Jais, and ALLaM, on our newly introduced Egyptian evaluation benchmarks, which span both understanding and generative tasks. Notably, our 12B model yields a 14.4% performance gain over Qwen2.5-14B-Instruct on Latin-script benchmarks. All our resources are publicly available. We believe this work presents a comprehensive methodology for adapting LLMs to dual-script languages, addressing an often overlooked aspect in modern LLM development.