Улучшение понимания семантической близости в арабской обработке естественного языка с помощью обучения вложенных векторов.

Enhancing Semantic Similarity Understanding in Arabic NLP with Nested Embedding Learning

July 30, 2024

Авторы: Omer Nacar, Anis Koubaa

cs.AI

Аннотация

Данная работа представляет новую методику обучения вложенных моделей для арабского языка с помощью обучения вложенных моделей Матрешка, используя мультиязычные, специфические для арабского и англоязычные модели, чтобы продемонстрировать мощь вложенных моделей в различных задачах обработки естественного языка на арабском языке. Наш инновационный вклад включает перевод различных наборов данных по сходству предложений на арабский язык, обеспечивая комплексную систему оценки для сравнения этих моделей по различным аспектам. Мы обучили несколько вложенных моделей на наборе данных троек для арабского языка и оценили их производительность с использованием нескольких метрик оценки, включая корреляции Пирсона и Спирмена для косинусного сходства, манхэттенского расстояния, евклидова расстояния и скалярного произведения. Результаты демонстрируют превосходную производительность моделей вложения Матрешка, особенно в улавливании семантических нюансов, характерных для арабского языка. Результаты показали, что арабские вложенные модели Матрешка обладают превосходной производительностью в улавливании семантических нюансов, уникальных для арабского языка, значительно превосходя традиционные модели на 20-25\% по различным метрикам сходства. Эти результаты подчеркивают эффективность обучения, специфичного для языка, и выделяют потенциал моделей Матрешка в улучшении задач семантического сходства текста для арабского обработки естественного языка.

English

This work presents a novel framework for training Arabic nested embedding models through Matryoshka Embedding Learning, leveraging multilingual, Arabic-specific, and English-based models, to highlight the power of nested embeddings models in various Arabic NLP downstream tasks. Our innovative contribution includes the translation of various sentence similarity datasets into Arabic, enabling a comprehensive evaluation framework to compare these models across different dimensions. We trained several nested embedding models on the Arabic Natural Language Inference triplet dataset and assessed their performance using multiple evaluation metrics, including Pearson and Spearman correlations for cosine similarity, Manhattan distance, Euclidean distance, and dot product similarity. The results demonstrate the superior performance of the Matryoshka embedding models, particularly in capturing semantic nuances unique to the Arabic language. Results demonstrated that Arabic Matryoshka embedding models have superior performance in capturing semantic nuances unique to the Arabic language, significantly outperforming traditional models by up to 20-25\% across various similarity metrics. These results underscore the effectiveness of language-specific training and highlight the potential of Matryoshka models in enhancing semantic textual similarity tasks for Arabic NLP.