Avanzamento dei sistemi di dizionario inverso per l'arabo: un approccio basato su Transformer con linee guida per la costruzione di dataset

Advancing Arabic Reverse Dictionary Systems: A Transformer-Based Approach with Dataset Construction Guidelines

April 30, 2025

Autori: Serry Sibaee, Samar Ahmed, Abdullah Al Harbi, Omer Nacar, Adel Ammar, Yasser Habashi, Wadii Boulila

cs.AI

Abstract

Questo studio affronta la lacuna critica nell'elaborazione del linguaggio naturale arabo sviluppando un efficace sistema di Dizionario Inverso (RD) per l'arabo che consente agli utenti di trovare parole in base alle loro descrizioni o significati. Presentiamo un approccio innovativo basato su trasformatori con un'architettura di rete neurale semi-encoder caratterizzata da strati geometricamente decrescenti, che raggiunge risultati all'avanguardia per i compiti di RD in arabo. La nostra metodologia incorpora un processo completo di costruzione del dataset e stabilisce standard di qualità formali per le definizioni lessicografiche in arabo. Esperimenti con vari modelli pre-addestrati dimostrano che i modelli specifici per l'arabo superano significativamente gli embedding multilingue generali, con ARBERTv2 che raggiunge il miglior punteggio di ranking (0,0644). Inoltre, forniamo un'astrazione formale del compito del dizionario inverso che migliora la comprensione teorica e sviluppiamo una libreria Python modulare ed estensibile (RDTL) con pipeline di addestramento configurabili. La nostra analisi sulla qualità del dataset rivela importanti intuizioni per migliorare la costruzione delle definizioni in arabo, portando a otto standard specifici per la creazione di risorse di dizionario inverso di alta qualità. Questo lavoro contribuisce significativamente alla linguistica computazionale araba e fornisce strumenti preziosi per l'apprendimento della lingua, la scrittura accademica e la comunicazione professionale in arabo.

English

This study addresses the critical gap in Arabic natural language processing by developing an effective Arabic Reverse Dictionary (RD) system that enables users to find words based on their descriptions or meanings. We present a novel transformer-based approach with a semi-encoder neural network architecture featuring geometrically decreasing layers that achieves state-of-the-art results for Arabic RD tasks. Our methodology incorporates a comprehensive dataset construction process and establishes formal quality standards for Arabic lexicographic definitions. Experiments with various pre-trained models demonstrate that Arabic-specific models significantly outperform general multilingual embeddings, with ARBERTv2 achieving the best ranking score (0.0644). Additionally, we provide a formal abstraction of the reverse dictionary task that enhances theoretical understanding and develop a modular, extensible Python library (RDTL) with configurable training pipelines. Our analysis of dataset quality reveals important insights for improving Arabic definition construction, leading to eight specific standards for building high-quality reverse dictionary resources. This work contributes significantly to Arabic computational linguistics and provides valuable tools for language learning, academic writing, and professional communication in Arabic.