Relatório Técnico Hala: Construindo Modelos de Instrução e Tradução Centrados no Árabe em Escala

Hala Technical Report: Building Arabic-Centric Instruction & Translation Models at Scale

September 17, 2025

Autores: Hasan Abed Al Kader Hammoud, Mohammad Zbeeb, Bernard Ghanem

cs.AI

Resumo

Apresentamos Hala, uma família de modelos de instrução e tradução centrados no árabe, construídos com nosso pipeline de tradução e ajuste. Primeiro, comprimimos um forte professor AR↔EN para FP8 (obtendo ~2x mais throughput sem perda de qualidade) e o usamos para criar supervisão bilíngue de alta fidelidade. Um modelo de linguagem leve LFM2-1.2B é então ajustado nesses dados e usado para traduzir conjuntos de instruções em inglês de alta qualidade para o árabe, produzindo um corpus em escala de milhões adaptado para seguir instruções. Treinamos modelos Hala com 350M, 700M, 1.2B e 9B de parâmetros e aplicamos a fusão slerp para equilibrar a especialização em árabe com as forças do modelo base. Em benchmarks centrados no árabe, Hala alcança resultados de ponta tanto nas categorias "nano" (≤2B) quanto "pequena" (7-9B), superando suas bases. Disponibilizamos modelos, dados, avaliações e receitas para acelerar a pesquisa em PLN para o árabe.

English

We present Hala, a family of Arabic-centric instruction and translation models built with our translate-and-tune pipeline. We first compress a strong ARleftrightarrowEN teacher to FP8 (yielding sim2times higher throughput with no quality loss) and use it to create high-fidelity bilingual supervision. A lightweight language model LFM2-1.2B is then fine-tuned on this data and used to translate high-quality English instruction sets into Arabic, producing a million-scale corpus tailored to instruction following. We train Hala models at 350M, 700M, 1.2B, and 9B parameters, and apply slerp merging to balance Arabic specialization with base-model strengths. On Arabic-centric benchmarks, Hala achieves state-of-the-art results within both the "nano" (leq2B) and "small" (7-9B) categories, outperforming their bases. We release models, data, evaluation, and recipes to accelerate research in Arabic NLP.