Vooruitgang in Arabische Reverse Dictionary Systemen: Een Transformer-Gebaseerde Aanpak met Richtlijnen voor Datasetconstructie

Advancing Arabic Reverse Dictionary Systems: A Transformer-Based Approach with Dataset Construction Guidelines

April 30, 2025

Auteurs: Serry Sibaee, Samar Ahmed, Abdullah Al Harbi, Omer Nacar, Adel Ammar, Yasser Habashi, Wadii Boulila

cs.AI

Samenvatting

Dit onderzoek behandelt de kritieke leemte in de natuurlijke taalverwerking van het Arabisch door een effectief Arabisch Omgekeerd Woordenboek (RD) systeem te ontwikkelen dat gebruikers in staat stelt woorden te vinden op basis van hun beschrijvingen of betekenissen. We presenteren een nieuwe transformer-gebaseerde aanpak met een semi-encoder neurale netwerkarchitectuur die gebruik maakt van geometrisch afnemende lagen en die state-of-the-art resultaten behaalt voor Arabische RD-taken. Onze methodologie omvat een uitgebreid proces voor datasetconstructie en stelt formele kwaliteitsnormen vast voor Arabische lexicografische definities. Experimenten met verschillende vooraf getrainde modellen tonen aan dat Arabisch-specifieke modellen aanzienlijk beter presteren dan algemene meertalige embeddings, waarbij ARBERTv2 de beste rangschikkingsscore behaalt (0,0644). Daarnaast bieden we een formele abstractie van de omgekeerde woordenboektaak die het theoretisch begrip vergroot en ontwikkelen we een modulaire, uitbreidbare Python-bibliotheek (RDTL) met configureerbare trainingspijplijnen. Onze analyse van de datasetkwaliteit onthult belangrijke inzichten voor het verbeteren van de constructie van Arabische definities, wat leidt tot acht specifieke normen voor het bouwen van hoogwaardige omgekeerde woordenboekbronnen. Dit werk draagt aanzienlijk bij aan de computationele taalkunde van het Arabisch en biedt waardevolle hulpmiddelen voor taalverwerving, academisch schrijven en professionele communicatie in het Arabisch.

English

This study addresses the critical gap in Arabic natural language processing by developing an effective Arabic Reverse Dictionary (RD) system that enables users to find words based on their descriptions or meanings. We present a novel transformer-based approach with a semi-encoder neural network architecture featuring geometrically decreasing layers that achieves state-of-the-art results for Arabic RD tasks. Our methodology incorporates a comprehensive dataset construction process and establishes formal quality standards for Arabic lexicographic definitions. Experiments with various pre-trained models demonstrate that Arabic-specific models significantly outperform general multilingual embeddings, with ARBERTv2 achieving the best ranking score (0.0644). Additionally, we provide a formal abstraction of the reverse dictionary task that enhances theoretical understanding and develop a modular, extensible Python library (RDTL) with configurable training pipelines. Our analysis of dataset quality reveals important insights for improving Arabic definition construction, leading to eight specific standards for building high-quality reverse dictionary resources. This work contributes significantly to Arabic computational linguistics and provides valuable tools for language learning, academic writing, and professional communication in Arabic.