Swan e ArabicMTEB: Modelos e Referenciais de Incorporação Conscientes de Dialeto, Centrados no Árabe, Transculturais e Translinguísticos

Swan and ArabicMTEB: Dialect-Aware, Arabic-Centric, Cross-Lingual, and Cross-Cultural Embedding Models and Benchmarks

November 2, 2024

Autores: Gagan Bhatia, El Moatez Billah Nagoudi, Abdellah El Mekki, Fakhraddin Alwajih, Muhammad Abdul-Mageed

cs.AI

Resumo

Apresentamos Swan, uma família de modelos de incorporação centrados na língua árabe, abordando casos de uso em pequena e grande escala. Swan inclui duas variantes: Swan-Small, baseado no ARBERTv2, e Swan-Large, construído sobre o ArMistral, um modelo de linguagem árabe grande pré-treinado. Para avaliar esses modelos, propomos o ArabicMTEB, uma suíte abrangente de testes que avalia o desempenho de incorporação de texto árabe em tarefas cruzadas, multidialetais, multidomínio e multiculturais, abrangendo oito tarefas diversas e 94 conjuntos de dados. O Swan-Large alcança resultados de ponta, superando o Multilingual-E5-large na maioria das tarefas árabes, enquanto o Swan-Small consistentemente supera o Multilingual-E5 base. Nossas extensas avaliações demonstram que os modelos Swan são conscientes tanto dialetal quanto culturalmente, destacando-se em diversos domínios árabes, ao mesmo tempo que oferecem eficiência monetária significativa. Este trabalho avança significativamente no campo da modelagem da língua árabe e fornece recursos valiosos para pesquisas futuras e aplicações no processamento de linguagem natural árabe. Nossos modelos e testes serão disponibilizados publicamente para pesquisa.

English

We introduce Swan, a family of embedding models centred around the Arabic language, addressing both small-scale and large-scale use cases. Swan includes two variants: Swan-Small, based on ARBERTv2, and Swan-Large, built on ArMistral, a pretrained Arabic large language model. To evaluate these models, we propose ArabicMTEB, a comprehensive benchmark suite that assesses cross-lingual, multi-dialectal, multi-domain, and multi-cultural Arabic text embedding performance, covering eight diverse tasks and spanning 94 datasets. Swan-Large achieves state-of-the-art results, outperforming Multilingual-E5-large in most Arabic tasks, while the Swan-Small consistently surpasses Multilingual-E5 base. Our extensive evaluations demonstrate that Swan models are both dialectally and culturally aware, excelling across various Arabic domains while offering significant monetary efficiency. This work significantly advances the field of Arabic language modelling and provides valuable resources for future research and applications in Arabic natural language processing. Our models and benchmark will be made publicly accessible for research.