Shiksha: Ein technisches Domänen-fokussiertes Übersetzungsdatenset und Modell für indische Sprachen.

Shiksha: A Technical Domain focused Translation Dataset and Model for Indian Languages

December 12, 2024

Autoren: Advait Joglekar, Srinivasan Umesh

cs.AI

Zusammenfassung

Neuronale Maschinenübersetzungsmodelle (NMT) werden in der Regel auf Datensätzen trainiert, die nur begrenzten Einblick in wissenschaftliche, technische und Bildungsbereiche bieten. Übersetzungsmodelle haben daher im Allgemeinen Schwierigkeiten bei Aufgaben, die wissenschaftliches Verständnis oder technisches Fachjargon erfordern. Ihre Leistung ist sogar noch schlechter für wenig erforschte indische Sprachen. Die Suche nach einem Übersetzungsdatensatz, der sich speziell diesen Bereichen widmet, stellt eine schwierige Herausforderung dar. In diesem Paper gehen wir dieses Problem an, indem wir einen mehrsprachigen Parallelkorpus erstellen, der über 2,8 Millionen Zeilen hochwertige Übersetzungspaare von Englisch nach Indisch und von Indisch zu Indisch in 8 indischen Sprachen enthält. Dies erreichen wir durch das Auffinden von menschlich übersetzten Transkriptionen von NPTEL-Vorlesungsvideos. Wir feinabstimmen und evaluieren auch NMT-Modelle unter Verwendung dieses Korpus und übertreffen alle anderen öffentlich verfügbaren Modelle bei in-domain Aufgaben. Darüber hinaus zeigen wir das Potenzial zur Verallgemeinerung auf out-of-domain Übersetzungsaufgaben, indem wir die Basislinie für diese indischen Sprachen im Durchschnitt um über 2 BLEU auf dem Flores+ Benchmark verbessern. Wir freuen uns, unser Modell und unseren Datensatz über folgenden Link zur Verfügung zu stellen: https://huggingface.co/SPRINGLab.

English

Neural Machine Translation (NMT) models are typically trained on datasets with limited exposure to Scientific, Technical and Educational domains. Translation models thus, in general, struggle with tasks that involve scientific understanding or technical jargon. Their performance is found to be even worse for low-resource Indian languages. Finding a translation dataset that tends to these domains in particular, poses a difficult challenge. In this paper, we address this by creating a multilingual parallel corpus containing more than 2.8 million rows of English-to-Indic and Indic-to-Indic high-quality translation pairs across 8 Indian languages. We achieve this by bitext mining human-translated transcriptions of NPTEL video lectures. We also finetune and evaluate NMT models using this corpus and surpass all other publicly available models at in-domain tasks. We also demonstrate the potential for generalizing to out-of-domain translation tasks by improving the baseline by over 2 BLEU on average for these Indian languages on the Flores+ benchmark. We are pleased to release our model and dataset via this link: https://huggingface.co/SPRINGLab.