Модели встраивания Swan и ArabicMTEB: осведомленные о диалектах, ориентированные на арабский язык, кросс-языковые и кросс-культурные, а также бенчмарки

Swan and ArabicMTEB: Dialect-Aware, Arabic-Centric, Cross-Lingual, and Cross-Cultural Embedding Models and Benchmarks

November 2, 2024

Авторы: Gagan Bhatia, El Moatez Billah Nagoudi, Abdellah El Mekki, Fakhraddin Alwajih, Muhammad Abdul-Mageed

cs.AI

Аннотация

Мы представляем Swan, семейство моделей встраивания, сосредоточенных вокруг арабского языка, охватывающих как маломасштабные, так и крупномасштабные сценарии использования. Swan включает два варианта: Swan-Small, основанный на ARBERTv2, и Swan-Large, построенный на ArMistral, предварительно обученной крупной арабской языковой модели. Для оценки этих моделей мы предлагаем ArabicMTEB, обширный набор тестов, оценивающий производительность встраивания текста на арабском языке в кросс-языковом, мультидиалектальном, мультидоменном и мультикультурном контекстах, охватывающий восемь разнообразных задач и 94 набора данных. Swan-Large достигает передовых результатов, превосходя Multilingual-E5-large в большинстве арабских задач, в то время как Swan-Small последовательно превосходит Multilingual-E5 base. Наши обширные оценки демонстрируют, что модели Swan обладают диалектной и культурной осведомленностью, превосходя в различных арабских областях и обеспечивая значительную экономическую эффективность. Эта работа значительно продвигает область моделирования арабского языка и предоставляет ценные ресурсы для будущих исследований и приложений в арабской обработке естественного языка. Наши модели и тестовый набор будут общедоступны для исследований.

English

We introduce Swan, a family of embedding models centred around the Arabic language, addressing both small-scale and large-scale use cases. Swan includes two variants: Swan-Small, based on ARBERTv2, and Swan-Large, built on ArMistral, a pretrained Arabic large language model. To evaluate these models, we propose ArabicMTEB, a comprehensive benchmark suite that assesses cross-lingual, multi-dialectal, multi-domain, and multi-cultural Arabic text embedding performance, covering eight diverse tasks and spanning 94 datasets. Swan-Large achieves state-of-the-art results, outperforming Multilingual-E5-large in most Arabic tasks, while the Swan-Small consistently surpasses Multilingual-E5 base. Our extensive evaluations demonstrate that Swan models are both dialectally and culturally aware, excelling across various Arabic domains while offering significant monetary efficiency. This work significantly advances the field of Arabic language modelling and provides valuable resources for future research and applications in Arabic natural language processing. Our models and benchmark will be made publicly accessible for research.