Offene Sprachdateninitiative: Förderung der maschinellen Übersetzung mit geringen Ressourcen für Karakalpakisch

Open Language Data Initiative: Advancing Low-Resource Machine Translation for Karakalpak

September 6, 2024

Autoren: Mukhammadsaid Mamasaidov, Abror Shopulatov

cs.AI

Zusammenfassung

Diese Studie präsentiert mehrere Beiträge für die karakalpakische Sprache: ein FLORES+ Devtest-Datenset, das ins Karakalpakische übersetzt wurde, parallele Korpora für Usbekisch-Karakalpakisch, Russisch-Karakalpakisch und Englisch-Karakalpakisch mit jeweils 100.000 Paaren sowie Open-Source-feinabgestimmte neuronale Modelle für Übersetzungen zwischen diesen Sprachen. Unsere Experimente vergleichen verschiedene Modellvarianten und Trainingsansätze und zeigen Verbesserungen gegenüber bestehenden Ausgangspunkten. Diese Arbeit, die im Rahmen der Open Language Data Initiative (OLDI) durchgeführt wurde, zielt darauf ab, die Fähigkeiten der maschinellen Übersetzung für das Karakalpakische voranzutreiben und zur Erweiterung der sprachlichen Vielfalt in NLP-Technologien beizutragen.

English

This study presents several contributions for the Karakalpak language: a FLORES+ devtest dataset translated to Karakalpak, parallel corpora for Uzbek-Karakalpak, Russian-Karakalpak and English-Karakalpak of 100,000 pairs each and open-sourced fine-tuned neural models for translation across these languages. Our experiments compare different model variants and training approaches, demonstrating improvements over existing baselines. This work, conducted as part of the Open Language Data Initiative (OLDI) shared task, aims to advance machine translation capabilities for Karakalpak and contribute to expanding linguistic diversity in NLP technologies.