Shiksha: Набор данных и модель перевода, сосредоточенные на технической области, для индийских языков

Shiksha: A Technical Domain focused Translation Dataset and Model for Indian Languages

December 12, 2024

Авторы: Advait Joglekar, Srinivasan Umesh

cs.AI

Аннотация

Модели нейронного машинного перевода (NMT) обычно обучаются на наборах данных с ограниченным охватом научных, технических и образовательных областей. Такие модели перевода, как правило, испытывают трудности при выполнении задач, связанных с научным пониманием или техническим жаргоном. Их производительность оказывается еще хуже для низкоресурсных индийских языков. Найти набор данных для перевода, ориентированный именно на эти области, представляет собой сложную задачу. В данной статье мы решаем эту проблему, создавая многоязычный параллельный корпус, содержащий более 2,8 миллионов строк переводов высокого качества с английского на индийские языки и между индийскими языками. Мы достигаем этого путем майнинга битекста человечески переведенных транскрипций видеолекций NPTEL. Мы также донастраиваем и оцениваем модели NMT с использованием этого корпуса и превосходим все другие публично доступные модели на задачах внутри домена. Мы также демонстрируем потенциал для обобщения на задачи перевода вне домена, улучшив базовый уровень более чем на 2 BLEU в среднем для этих индийских языков на тесте Flores+. Мы рады представить нашу модель и набор данных по следующей ссылке: https://huggingface.co/SPRINGLab.

English

Neural Machine Translation (NMT) models are typically trained on datasets with limited exposure to Scientific, Technical and Educational domains. Translation models thus, in general, struggle with tasks that involve scientific understanding or technical jargon. Their performance is found to be even worse for low-resource Indian languages. Finding a translation dataset that tends to these domains in particular, poses a difficult challenge. In this paper, we address this by creating a multilingual parallel corpus containing more than 2.8 million rows of English-to-Indic and Indic-to-Indic high-quality translation pairs across 8 Indian languages. We achieve this by bitext mining human-translated transcriptions of NPTEL video lectures. We also finetune and evaluate NMT models using this corpus and surpass all other publicly available models at in-domain tasks. We also demonstrate the potential for generalizing to out-of-domain translation tasks by improving the baseline by over 2 BLEU on average for these Indian languages on the Flores+ benchmark. We are pleased to release our model and dataset via this link: https://huggingface.co/SPRINGLab.