Технический отчет Hala: Создание масштабируемых моделей для инструкций и перевода с ориентацией на арабский язык

Hala Technical Report: Building Arabic-Centric Instruction & Translation Models at Scale

September 17, 2025

Авторы: Hasan Abed Al Kader Hammoud, Mohammad Zbeeb, Bernard Ghanem

cs.AI

Аннотация

Представляем Hala — семейство моделей для инструкций и перевода, ориентированных на арабский язык, созданных с использованием нашего конвейера перевода и настройки. Сначала мы сжимаем мощную модель-учитель AR↔EN до формата FP8 (что дает примерно двукратное увеличение пропускной способности без потери качества) и используем её для создания высококачественного двуязычного обучающего материала. Затем легковесная языковая модель LFM2-1.2B дообучается на этих данных и применяется для перевода высококачественных наборов инструкций с английского на арабский, создавая корпус объемом в миллионы примеров, адаптированный для выполнения инструкций. Мы обучаем модели Hala с 350M, 700M, 1.2B и 9B параметрами и применяем slerp-слияние для баланса специализации на арабском языке с сильными сторонами базовых моделей. На арабско-ориентированных бенчмарках Hala достигает наилучших результатов как в категории "nano" (≤2B), так и в категории "small" (7-9B), превосходя свои базовые модели. Мы публикуем модели, данные, методы оценки и рецепты для ускорения исследований в области обработки естественного языка для арабского языка.

English

We present Hala, a family of Arabic-centric instruction and translation models built with our translate-and-tune pipeline. We first compress a strong ARleftrightarrowEN teacher to FP8 (yielding sim2times higher throughput with no quality loss) and use it to create high-fidelity bilingual supervision. A lightweight language model LFM2-1.2B is then fine-tuned on this data and used to translate high-quality English instruction sets into Arabic, producing a million-scale corpus tailored to instruction following. We train Hala models at 350M, 700M, 1.2B, and 9B parameters, and apply slerp merging to balance Arabic specialization with base-model strengths. On Arabic-centric benchmarks, Hala achieves state-of-the-art results within both the "nano" (leq2B) and "small" (7-9B) categories, outperforming their bases. We release models, data, evaluation, and recipes to accelerate research in Arabic NLP.