Fortschritte bei arabischen Reverse-Wörterbuchsystemen: Ein Transformer-basierter Ansatz mit Richtlinien zur Datensatzerstellung

Advancing Arabic Reverse Dictionary Systems: A Transformer-Based Approach with Dataset Construction Guidelines

April 30, 2025

Autoren: Serry Sibaee, Samar Ahmed, Abdullah Al Harbi, Omer Nacar, Adel Ammar, Yasser Habashi, Wadii Boulila

cs.AI

Zusammenfassung

Diese Studie befasst sich mit der kritischen Lücke in der arabischen natürlichen Sprachverarbeitung, indem sie ein effektives arabisches Reverse Dictionary (RD)-System entwickelt, das es Benutzern ermöglicht, Wörter basierend auf ihren Beschreibungen oder Bedeutungen zu finden. Wir präsentieren einen neuartigen Transformer-basierten Ansatz mit einer Semi-Encoder-Neuronalen-Netzwerk-Architektur, die geometrisch abnehmende Schichten aufweist und state-of-the-art Ergebnisse für arabische RD-Aufgaben erzielt. Unsere Methodik umfasst einen umfassenden Datensatzkonstruktionsprozess und etabliert formale Qualitätsstandards für arabische lexikografische Definitionen. Experimente mit verschiedenen vortrainierten Modellen zeigen, dass arabisch-spezifische Modelle allgemeine mehrsprachige Einbettungen deutlich übertreffen, wobei ARBERTv2 die beste Bewertung (0,0644) erreicht. Zusätzlich bieten wir eine formale Abstraktion der Reverse-Dictionary-Aufgabe, die das theoretische Verständnis verbessert, und entwickeln eine modulare, erweiterbare Python-Bibliothek (RDTL) mit konfigurierbaren Trainingspipelines. Unsere Analyse der Datensatzqualität liefert wichtige Erkenntnisse zur Verbesserung der arabischen Definitionskonstruktion, was zu acht spezifischen Standards für den Aufbau hochwertiger Reverse-Dictionary-Ressourcen führt. Diese Arbeit leistet einen bedeutenden Beitrag zur arabischen Computerlinguistik und bietet wertvolle Werkzeuge für das Sprachenlernen, akademisches Schreiben und die professionelle Kommunikation auf Arabisch.

English

This study addresses the critical gap in Arabic natural language processing by developing an effective Arabic Reverse Dictionary (RD) system that enables users to find words based on their descriptions or meanings. We present a novel transformer-based approach with a semi-encoder neural network architecture featuring geometrically decreasing layers that achieves state-of-the-art results for Arabic RD tasks. Our methodology incorporates a comprehensive dataset construction process and establishes formal quality standards for Arabic lexicographic definitions. Experiments with various pre-trained models demonstrate that Arabic-specific models significantly outperform general multilingual embeddings, with ARBERTv2 achieving the best ranking score (0.0644). Additionally, we provide a formal abstraction of the reverse dictionary task that enhances theoretical understanding and develop a modular, extensible Python library (RDTL) with configurable training pipelines. Our analysis of dataset quality reveals important insights for improving Arabic definition construction, leading to eight specific standards for building high-quality reverse dictionary resources. This work contributes significantly to Arabic computational linguistics and provides valuable tools for language learning, academic writing, and professional communication in Arabic.