중첩 임베딩 학습을 통한 아랍어 NLP의 의미 유사성 이해 향상

Enhancing Semantic Similarity Understanding in Arabic NLP with Nested Embedding Learning

July 30, 2024

저자: Omer Nacar, Anis Koubaa

cs.AI

초록

본 연구는 다국어, 아랍어 전용, 영어 기반 모델을 활용하여 마트료시카 임베딩 학습(MEL)을 통해 아랍어 중첩 임베딩 모델을 훈련하는 새로운 프레임워크를 제시하며, 다양한 아랍어 NLP 하위 작업에서 중첩 임베딩 모델의 강점을 부각시킵니다. 우리의 혁신적인 기여는 다양한 문장 유사성 데이터셋을 아랍어로 번역하여 이러한 모델들을 다양한 차원에서 비교할 수 있는 포괄적인 평가 프레임워크를 가능하게 한 점입니다. 우리는 아랍어 자연어 추론(NLI) 트리플릿 데이터셋을 기반으로 여러 중첩 임베딩 모델을 훈련하고, 코사인 유사도, 맨해튼 거리, 유클리드 거리, 내적 유사도에 대한 피어슨 및 스피어만 상관관계를 포함한 다양한 평가 지표를 사용하여 성능을 평가했습니다. 결과는 마트료시카 임베딩 모델이 특히 아랍어 고유의 의미적 뉘앙스를 포착하는 데 있어 우수한 성능을 보였으며, 다양한 유사성 지표에서 기존 모델을 최대 20-25%까지 크게 능가함을 입증했습니다. 이러한 결과는 언어 특화 훈련의 효과를 강조하며, 아랍어 NLP를 위한 의미적 텍스트 유사성 작업에서 마트료시카 모델의 잠재력을 보여줍니다.

English

This work presents a novel framework for training Arabic nested embedding models through Matryoshka Embedding Learning, leveraging multilingual, Arabic-specific, and English-based models, to highlight the power of nested embeddings models in various Arabic NLP downstream tasks. Our innovative contribution includes the translation of various sentence similarity datasets into Arabic, enabling a comprehensive evaluation framework to compare these models across different dimensions. We trained several nested embedding models on the Arabic Natural Language Inference triplet dataset and assessed their performance using multiple evaluation metrics, including Pearson and Spearman correlations for cosine similarity, Manhattan distance, Euclidean distance, and dot product similarity. The results demonstrate the superior performance of the Matryoshka embedding models, particularly in capturing semantic nuances unique to the Arabic language. Results demonstrated that Arabic Matryoshka embedding models have superior performance in capturing semantic nuances unique to the Arabic language, significantly outperforming traditional models by up to 20-25\% across various similarity metrics. These results underscore the effectiveness of language-specific training and highlight the potential of Matryoshka models in enhancing semantic textual similarity tasks for Arabic NLP.