Rapporto Tecnico Hala: Costruzione di Modelli di Istruzione e Traduzione Centrati sull'Arabo su Larga Scala

Hala Technical Report: Building Arabic-Centric Instruction & Translation Models at Scale

September 17, 2025

Autori: Hasan Abed Al Kader Hammoud, Mohammad Zbeeb, Bernard Ghanem

cs.AI

Abstract

Presentiamo Hala, una famiglia di modelli di istruzione e traduzione centrati sull'arabo, sviluppati con la nostra pipeline di traduzione e ottimizzazione. Iniziamo comprimendo un forte modello insegnante AR↔EN in FP8 (ottenendo un throughput circa 2 volte superiore senza perdita di qualità) e lo utilizziamo per creare supervisione bilingue ad alta fedeltà. Successivamente, un modello linguistico leggero LFM2-1.2B viene fine-tuned su questi dati e utilizzato per tradurre set di istruzioni di alta qualità dall'inglese all'arabo, producendo un corpus su scala milionaria adattato al seguimento delle istruzioni. Addestriamo i modelli Hala con 350M, 700M, 1.2B e 9B di parametri, e applichiamo la fusione slerp per bilanciare la specializzazione in arabo con i punti di forza del modello base. Su benchmark centrati sull'arabo, Hala raggiunge risultati all'avanguardia sia nella categoria "nano" (≤2B) che "small" (7-9B), superando i loro modelli base. Rilasciamo modelli, dati, valutazioni e ricette per accelerare la ricerca nell'NLP arabo.

English

We present Hala, a family of Arabic-centric instruction and translation models built with our translate-and-tune pipeline. We first compress a strong ARleftrightarrowEN teacher to FP8 (yielding sim2times higher throughput with no quality loss) and use it to create high-fidelity bilingual supervision. A lightweight language model LFM2-1.2B is then fine-tuned on this data and used to translate high-quality English instruction sets into Arabic, producing a million-scale corpus tailored to instruction following. We train Hala models at 350M, 700M, 1.2B, and 9B parameters, and apply slerp merging to balance Arabic specialization with base-model strengths. On Arabic-centric benchmarks, Hala achieves state-of-the-art results within both the "nano" (leq2B) and "small" (7-9B) categories, outperforming their bases. We release models, data, evaluation, and recipes to accelerate research in Arabic NLP.