ATHAR: Een hoogwaardige en diverse dataset voor vertaling van Klassiek Arabisch naar Engels

ATHAR: A High-Quality and Diverse Dataset for Classical Arabic to English Translation

July 29, 2024

Auteurs: Mohammed Khalil, Mohammed Sabry

cs.AI

Samenvatting

Klassiek Arabisch vertegenwoordigt een belangrijk tijdperk, dat de gouden eeuw van de Arabische cultuur, filosofie en wetenschappelijke literatuur omvat. Met een brede consensus over het belang van het vertalen van deze literatuur om de kennisverspreiding tussen gemeenschappen te verrijken, bieden de opkomst van grote taalmodelen (LLM's) en vertaalsystemen veelbelovende tools om dit doel te vergemakkelijken. We hebben echter een tekort aan vertaalgegevenssets in het Klassiek Arabisch geconstateerd, die vaak beperkt zijn in omvang en onderwerpen, wat de ontwikkeling van hoogwaardige vertaalsystemen belemmert. Als reactie hierop presenteren we de ATHAR-gegevensset, bestaande uit 66.000 hoogwaardige vertaalvoorbeelden van Klassiek Arabisch naar Engels die een breed scala aan onderwerpen behandelen, waaronder wetenschap, cultuur en filosofie. Bovendien evalueren we de prestaties van huidige state-of-the-art LLM's onder verschillende instellingen en concluderen we dat er behoefte is aan dergelijke gegevenssets in de huidige systemen. Onze bevindingen benadrukken hoe modellen kunnen profiteren van fine-tuning of het opnemen van deze gegevensset in hun voorafgaande trainingspijplijnen. De gegevensset is openbaar beschikbaar op de HuggingFace Data Hub op https://huggingface.co/datasets/mohamed-khalil/ATHAR.

English

Classical Arabic represents a significant era, encompassing the golden age of Arab culture, philosophy, and scientific literature. With a broad consensus on the importance of translating these literatures to enrich knowledge dissemination across communities, the advent of large language models (LLMs) and translation systems offers promising tools to facilitate this goal. However, we have identified a scarcity of translation datasets in Classical Arabic, which are often limited in scope and topics, hindering the development of high-quality translation systems. In response, we present the ATHAR dataset, comprising 66,000 high-quality Classical Arabic to English translation samples that cover a wide array of subjects including science, culture, and philosophy. Furthermore, we assess the performance of current state-of-the-art LLMs under various settings, concluding that there is a need for such datasets in current systems. Our findings highlight how models can benefit from fine-tuning or incorporating this dataset into their pretraining pipelines. The dataset is publicly available on the HuggingFace Data Hub at https://huggingface.co/datasets/mohamed-khalil/ATHAR.