Verbesserte arabische Textabfrage mit aufmerksamkeitsbasierter Relevanzbewertung

Enhanced Arabic Text Retrieval with Attentive Relevance Scoring

July 31, 2025

papers.authors: Salah Eddine Bekhouche, Azeddine Benlamoudi, Yazid Bounab, Fadi Dornaika, Abdenour Hadid

cs.AI

papers.abstract

Arabisch stellt eine besondere Herausforderung für die Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) und die Informationsbeschaffung (Information Retrieval, IR) dar, und zwar aufgrund seiner komplexen Morphologie, optionalen Diakritika sowie der Koexistenz von Modernem Standardarabisch (Modern Standard Arabic, MSA) und verschiedenen Dialekten. Trotz der wachsenden globalen Bedeutung des Arabischen ist es in der NLP-Forschung und bei Benchmark-Ressourcen nach wie vor unterrepräsentiert. In diesem Artikel präsentieren wir ein verbessertes Framework für Dense Passage Retrieval (DPR), das speziell für Arabisch entwickelt wurde. Kern unseres Ansatzes ist eine neuartige Attentive Relevance Scoring (ARS)-Methode, die Standard-Interaktionsmechanismen durch eine adaptive Bewertungsfunktion ersetzt, die die semantische Relevanz zwischen Fragen und Textpassagen effektiver modelliert. Unser Verfahren integriert vortrainierte arabische Sprachmodelle und architektonische Verfeinerungen, um die Retrieval-Leistung zu verbessern und die Ranking-Genauigkeit bei der Beantwortung arabischer Fragen deutlich zu steigern. Der Code ist öffentlich verfügbar unter https://github.com/Bekhouche/APR{GitHub}.

English

Arabic poses a particular challenge for natural language processing (NLP) and information retrieval (IR) due to its complex morphology, optional diacritics and the coexistence of Modern Standard Arabic (MSA) and various dialects. Despite the growing global significance of Arabic, it is still underrepresented in NLP research and benchmark resources. In this paper, we present an enhanced Dense Passage Retrieval (DPR) framework developed specifically for Arabic. At the core of our approach is a novel Attentive Relevance Scoring (ARS) that replaces standard interaction mechanisms with an adaptive scoring function that more effectively models the semantic relevance between questions and passages. Our method integrates pre-trained Arabic language models and architectural refinements to improve retrieval performance and significantly increase ranking accuracy when answering Arabic questions. The code is made publicly available at https://github.com/Bekhouche/APR{GitHub}.