Initiatief voor Open Taalgegevens: Bevordering van Machinevertaling met weinig middelen voor het Karakalpakse taalgebied

Open Language Data Initiative: Advancing Low-Resource Machine Translation for Karakalpak

September 6, 2024

Auteurs: Mukhammadsaid Mamasaidov, Abror Shopulatov

cs.AI

Samenvatting

Deze studie presenteert verschillende bijdragen voor de Karakalpakse taal: een FLORES+ devtest dataset vertaald naar het Karakalpaks, parallelle corpora voor Oezbeeks-Karakalpaks, Russisch-Karakalpaks en Engels-Karakalpaks van elk 100.000 paar en open-source fijnafgestemde neurale modellen voor vertaling tussen deze talen. Onze experimenten vergelijken verschillende modelvarianten en trainingsbenaderingen, waarbij verbeteringen worden aangetoond ten opzichte van bestaande baselines. Dit werk, uitgevoerd als onderdeel van de Open Language Data Initiative (OLDI) gedeelde taak, heeft tot doel de mogelijkheden voor machinale vertaling voor het Karakalpaks te verbeteren en bij te dragen aan het vergroten van de linguïstische diversiteit in NLP-technologieën.

English

This study presents several contributions for the Karakalpak language: a FLORES+ devtest dataset translated to Karakalpak, parallel corpora for Uzbek-Karakalpak, Russian-Karakalpak and English-Karakalpak of 100,000 pairs each and open-sourced fine-tuned neural models for translation across these languages. Our experiments compare different model variants and training approaches, demonstrating improvements over existing baselines. This work, conducted as part of the Open Language Data Initiative (OLDI) shared task, aims to advance machine translation capabilities for Karakalpak and contribute to expanding linguistic diversity in NLP technologies.