Initiative pour les Données Linguistiques Ouvertes : Faire Progresser la Traduction Automatique à Faibles Ressources pour le Karakalpak

Open Language Data Initiative: Advancing Low-Resource Machine Translation for Karakalpak

September 6, 2024

Auteurs: Mukhammadsaid Mamasaidov, Abror Shopulatov

cs.AI

Résumé

Cette étude présente plusieurs contributions pour la langue karakalpak : un ensemble de données FLORES+ devtest traduit en karakalpak, des corpus parallèles pour les paires ouzbek-karakalpak, russe-karakalpak et anglais-karakalpak de 100 000 chacun, ainsi que des modèles neuronaux affinés et open source pour la traduction entre ces langues. Nos expériences comparent différentes variantes de modèles et approches d'entraînement, démontrant des améliorations par rapport aux références existantes. Ce travail, mené dans le cadre de l'initiative de données linguistiques ouvertes (OLDI), vise à faire progresser les capacités de traduction automatique pour le karakalpak et à contribuer à l'expansion de la diversité linguistique dans les technologies de traitement automatique du langage naturel (TALN).

English

This study presents several contributions for the Karakalpak language: a FLORES+ devtest dataset translated to Karakalpak, parallel corpora for Uzbek-Karakalpak, Russian-Karakalpak and English-Karakalpak of 100,000 pairs each and open-sourced fine-tuned neural models for translation across these languages. Our experiments compare different model variants and training approaches, demonstrating improvements over existing baselines. This work, conducted as part of the Open Language Data Initiative (OLDI) shared task, aims to advance machine translation capabilities for Karakalpak and contribute to expanding linguistic diversity in NLP technologies.