Avançando os Sistemas de Dicionário Reverso Árabe: Uma Abordagem Baseada em Transformers com Diretrizes para Construção de Conjuntos de Dados

Advancing Arabic Reverse Dictionary Systems: A Transformer-Based Approach with Dataset Construction Guidelines

April 30, 2025

Autores: Serry Sibaee, Samar Ahmed, Abdullah Al Harbi, Omer Nacar, Adel Ammar, Yasser Habashi, Wadii Boulila

cs.AI

Resumo

Este estudo aborda a lacuna crítica no processamento de linguagem natural em árabe, desenvolvendo um sistema eficaz de Dicionário Reverso Árabe (RD) que permite aos usuários encontrar palavras com base em suas descrições ou significados. Apresentamos uma abordagem inovadora baseada em transformadores, com uma arquitetura de rede neural semi-codificadora que apresenta camadas geometricamente decrescentes, alcançando resultados de ponta para tarefas de RD em árabe. Nossa metodologia incorpora um processo abrangente de construção de conjuntos de dados e estabelece padrões formais de qualidade para definições lexicográficas em árabe. Experimentos com vários modelos pré-treinados demonstram que modelos específicos para o árabe superam significativamente embeddings multilíngues gerais, com o ARBERTv2 alcançando a melhor pontuação de classificação (0,0644). Além disso, fornecemos uma abstração formal da tarefa de dicionário reverso que aprimora o entendimento teórico e desenvolvemos uma biblioteca Python modular e extensível (RDTL) com pipelines de treinamento configuráveis. Nossa análise da qualidade dos conjuntos de dados revela insights importantes para melhorar a construção de definições em árabe, levando a oito padrões específicos para a criação de recursos de dicionário reverso de alta qualidade. Este trabalho contribui significativamente para a linguística computacional árabe e fornece ferramentas valiosas para o aprendizado de idiomas, redação acadêmica e comunicação profissional em árabe.

English

This study addresses the critical gap in Arabic natural language processing by developing an effective Arabic Reverse Dictionary (RD) system that enables users to find words based on their descriptions or meanings. We present a novel transformer-based approach with a semi-encoder neural network architecture featuring geometrically decreasing layers that achieves state-of-the-art results for Arabic RD tasks. Our methodology incorporates a comprehensive dataset construction process and establishes formal quality standards for Arabic lexicographic definitions. Experiments with various pre-trained models demonstrate that Arabic-specific models significantly outperform general multilingual embeddings, with ARBERTv2 achieving the best ranking score (0.0644). Additionally, we provide a formal abstraction of the reverse dictionary task that enhances theoretical understanding and develop a modular, extensible Python library (RDTL) with configurable training pipelines. Our analysis of dataset quality reveals important insights for improving Arabic definition construction, leading to eight specific standards for building high-quality reverse dictionary resources. This work contributes significantly to Arabic computational linguistics and provides valuable tools for language learning, academic writing, and professional communication in Arabic.