Swan y ArabicMTEB: Modelos de incrustación y puntos de referencia conscientes del dialecto, centrados en el árabe, multilingües y transculturales

Swan and ArabicMTEB: Dialect-Aware, Arabic-Centric, Cross-Lingual, and Cross-Cultural Embedding Models and Benchmarks

November 2, 2024

Autores: Gagan Bhatia, El Moatez Billah Nagoudi, Abdellah El Mekki, Fakhraddin Alwajih, Muhammad Abdul-Mageed

cs.AI

Resumen

Presentamos Swan, una familia de modelos de incrustación centrados en el idioma árabe, que abordan casos de uso tanto a pequeña como a gran escala. Swan incluye dos variantes: Swan-Small, basado en ARBERTv2, y Swan-Large, construido sobre ArMistral, un modelo de lenguaje árabe grande preentrenado. Para evaluar estos modelos, proponemos ArabicMTEB, un conjunto de pruebas de referencia exhaustivo que evalúa el rendimiento de incrustación de texto árabe en tareas cruzadas, multidialectales, multidominio y multicultural, abarcando ocho tareas diversas y 94 conjuntos de datos. Swan-Large logra resultados de vanguardia, superando a Multilingual-E5-large en la mayoría de las tareas árabes, mientras que Swan-Small supera consistentemente a Multilingual-E5 base. Nuestras extensas evaluaciones demuestran que los modelos Swan son conscientes tanto dialectal como culturalmente, destacándose en diversos dominios árabes y ofreciendo una eficiencia monetaria significativa. Este trabajo avanza significativamente en el campo del modelado del idioma árabe y proporciona recursos valiosos para futuras investigaciones y aplicaciones en el procesamiento del lenguaje natural árabe. Nuestros modelos y conjunto de pruebas estarán disponibles públicamente para la investigación.

English

We introduce Swan, a family of embedding models centred around the Arabic language, addressing both small-scale and large-scale use cases. Swan includes two variants: Swan-Small, based on ARBERTv2, and Swan-Large, built on ArMistral, a pretrained Arabic large language model. To evaluate these models, we propose ArabicMTEB, a comprehensive benchmark suite that assesses cross-lingual, multi-dialectal, multi-domain, and multi-cultural Arabic text embedding performance, covering eight diverse tasks and spanning 94 datasets. Swan-Large achieves state-of-the-art results, outperforming Multilingual-E5-large in most Arabic tasks, while the Swan-Small consistently surpasses Multilingual-E5 base. Our extensive evaluations demonstrate that Swan models are both dialectally and culturally aware, excelling across various Arabic domains while offering significant monetary efficiency. This work significantly advances the field of Arabic language modelling and provides valuable resources for future research and applications in Arabic natural language processing. Our models and benchmark will be made publicly accessible for research.