Iniziativa per i Dati Linguistici Aperti: Promuovere la Traduzione Automatica a Basso Risorsa per il Karakalpak

Open Language Data Initiative: Advancing Low-Resource Machine Translation for Karakalpak

September 6, 2024

Autori: Mukhammadsaid Mamasaidov, Abror Shopulatov

cs.AI

Abstract

Questo studio presenta diverse contributi per la lingua Karakalpak: un dataset di test di sviluppo FLORES+ tradotto in Karakalpak, corpora paralleli per Uzbeko-Karakalpak, Russo-Karakalpak e Inglese-Karakalpak di 100.000 coppie ciascuno e modelli neurali sintonizzati e resi open-source per la traduzione tra queste lingue. I nostri esperimenti confrontano diverse varianti di modelli e approcci di addestramento, dimostrando miglioramenti rispetto ai baselines esistenti. Questo lavoro, condotto come parte dell'iniziativa Open Language Data Initiative (OLDI) shared task, mira a far progredire le capacità di traduzione automatica per il Karakalpak e contribuire all'espansione della diversità linguistica nelle tecnologie di PNL.

English

This study presents several contributions for the Karakalpak language: a FLORES+ devtest dataset translated to Karakalpak, parallel corpora for Uzbek-Karakalpak, Russian-Karakalpak and English-Karakalpak of 100,000 pairs each and open-sourced fine-tuned neural models for translation across these languages. Our experiments compare different model variants and training approaches, demonstrating improvements over existing baselines. This work, conducted as part of the Open Language Data Initiative (OLDI) shared task, aims to advance machine translation capabilities for Karakalpak and contribute to expanding linguistic diversity in NLP technologies.