Шокирующий объем веб-контента переведен машинами: выводы на основе анализа многоязычного параллелизма

A Shocking Amount of the Web is Machine Translated: Insights from Multi-Way Parallelism

January 11, 2024

Авторы: Brian Thompson, Mehak Preet Dhaliwal, Peter Frisch, Tobias Domhan, Marcello Federico

cs.AI

Аннотация

Мы показываем, что контент в интернете часто переводится на множество языков, и низкое качество этих многоязычных переводов указывает на то, что они, вероятно, были созданы с использованием машинного перевода (MT). Многоязычный параллельный контент, сгенерированный машиной, не только доминирует в переводах на языки с меньшими ресурсами, но и составляет значительную долю всего веб-контента на этих языках. Мы также обнаруживаем признаки избирательного подхода к типу контента, который переводится на множество языков, что согласуется с массовым переводом низкокачественного английского контента на языки с меньшими ресурсами с помощью MT. Наша работа вызывает серьезные опасения относительно обучения моделей, таких как многоязычные большие языковые модели, на моноязычных и двуязычных данных, собранных из интернета.

English

We show that content on the web is often translated into many languages, and the low quality of these multi-way translations indicates they were likely created using Machine Translation (MT). Multi-way parallel, machine generated content not only dominates the translations in lower resource languages; it also constitutes a large fraction of the total web content in those languages. We also find evidence of a selection bias in the type of content which is translated into many languages, consistent with low quality English content being translated en masse into many lower resource languages, via MT. Our work raises serious concerns about training models such as multilingual large language models on both monolingual and bilingual data scraped from the web.