Een Schokkende Hoeveelheid van het Web is Machinevertaald: Inzichten uit Multi-Way Parallelisme

A Shocking Amount of the Web is Machine Translated: Insights from Multi-Way Parallelism

January 11, 2024

Auteurs: Brian Thompson, Mehak Preet Dhaliwal, Peter Frisch, Tobias Domhan, Marcello Federico

cs.AI

Samenvatting

We tonen aan dat inhoud op het web vaak in vele talen wordt vertaald, en de lage kwaliteit van deze multi-way vertalingen suggereert dat ze waarschijnlijk zijn gemaakt met behulp van Machinevertaling (MT). Multi-way parallelle, machinaal gegenereerde inhoud domineert niet alleen de vertalingen in talen met minder bronnen; het vormt ook een groot deel van de totale webinhoud in die talen. We vinden ook bewijs van een selectiebias in het type inhoud dat in vele talen wordt vertaald, wat consistent is met het massaal vertalen van Engelse inhoud van lage kwaliteit naar vele talen met minder bronnen, via MT. Ons werk roept serieuze zorgen op over het trainen van modellen zoals meertalige grote taalmodellen op zowel eentalige als tweetalige data die van het web zijn geschraapt.

English

We show that content on the web is often translated into many languages, and the low quality of these multi-way translations indicates they were likely created using Machine Translation (MT). Multi-way parallel, machine generated content not only dominates the translations in lower resource languages; it also constitutes a large fraction of the total web content in those languages. We also find evidence of a selection bias in the type of content which is translated into many languages, consistent with low quality English content being translated en masse into many lower resource languages, via MT. Our work raises serious concerns about training models such as multilingual large language models on both monolingual and bilingual data scraped from the web.