Verbesserung des Verständnisses für semantische Ähnlichkeiten in der arabischen NLP durch das Lernen von verschachtelten Einbettungen.

Enhancing Semantic Similarity Understanding in Arabic NLP with Nested Embedding Learning

July 30, 2024

Autoren: Omer Nacar, Anis Koubaa

cs.AI

Zusammenfassung

Diese Arbeit präsentiert ein neuartiges Framework zur Schulung von arabischen verschachtelten Einbettungsmodellen durch Matryoshka-Einbettungslernen, wobei mehrsprachige, arabisch-spezifische und auf Englisch basierende Modelle genutzt werden, um die Leistungsfähigkeit von verschachtelten Einbettungsmodellen in verschiedenen arabischen NLP-Nachfolgeaufgaben hervorzuheben. Unser innovativer Beitrag umfasst die Übersetzung verschiedener Datensätze zur Satzähnlichkeit ins Arabische, was ein umfassendes Bewertungsframework ermöglicht, um diese Modelle in verschiedenen Dimensionen zu vergleichen. Wir haben mehrere verschachtelte Einbettungsmodelle auf dem arabischen Datensatz für natürliche Sprachinferenz trainiert und ihre Leistung anhand mehrerer Bewertungsmetriken bewertet, darunter Pearson- und Spearman-Korrelationen für Kosinusähnlichkeit, Manhattan-Distanz, euklidische Distanz und Punktproduktähnlichkeit. Die Ergebnisse zeigen die überragende Leistung der Matryoshka-Einbettungsmodelle auf, insbesondere bei der Erfassung semantischer Feinheiten, die einzigartig für die arabische Sprache sind. Die Ergebnisse zeigten, dass arabische Matryoshka-Einbettungsmodelle eine überlegene Leistung bei der Erfassung semantischer Feinheiten, die einzigartig für die arabische Sprache sind, aufweisen und traditionelle Modelle signifikant um bis zu 20-25\% in verschiedenen Ähnlichkeitsmetriken übertreffen. Diese Ergebnisse unterstreichen die Wirksamkeit des trainings mit sprachspezifischen Daten und heben das Potenzial von Matryoshka-Modellen zur Verbesserung von semantischen Textähnlichkeitsaufgaben für das arabische NLP hervor.

English

This work presents a novel framework for training Arabic nested embedding models through Matryoshka Embedding Learning, leveraging multilingual, Arabic-specific, and English-based models, to highlight the power of nested embeddings models in various Arabic NLP downstream tasks. Our innovative contribution includes the translation of various sentence similarity datasets into Arabic, enabling a comprehensive evaluation framework to compare these models across different dimensions. We trained several nested embedding models on the Arabic Natural Language Inference triplet dataset and assessed their performance using multiple evaluation metrics, including Pearson and Spearman correlations for cosine similarity, Manhattan distance, Euclidean distance, and dot product similarity. The results demonstrate the superior performance of the Matryoshka embedding models, particularly in capturing semantic nuances unique to the Arabic language. Results demonstrated that Arabic Matryoshka embedding models have superior performance in capturing semantic nuances unique to the Arabic language, significantly outperforming traditional models by up to 20-25\% across various similarity metrics. These results underscore the effectiveness of language-specific training and highlight the potential of Matryoshka models in enhancing semantic textual similarity tasks for Arabic NLP.