MIT-10M: Um Grande Corpus Paralelo em Grande Escala de Tradução de Imagens Multilíngues

MIT-10M: A Large Scale Parallel Corpus of Multilingual Image Translation

December 10, 2024

Autores: Bo Li, Shaolin Zhu, Lijie Wen

cs.AI

Resumo

A Tradução de Imagens (TI) possui um enorme potencial em diversos domínios, permitindo a tradução de conteúdo textual dentro de imagens para várias línguas. No entanto, os conjuntos de dados existentes frequentemente sofrem com limitações em escala, diversidade e qualidade, o que dificulta o desenvolvimento e a avaliação de modelos de TI. Para abordar essa questão, apresentamos o MIT-10M, um corpus paralelo em larga escala de tradução de imagens multilíngue com mais de 10 milhões de pares de imagens-texto derivados de dados do mundo real, que passaram por extensa limpeza de dados e validação de tradução multilíngue. Ele contém 840 mil imagens em três tamanhos, 28 categorias, tarefas com três níveis de dificuldade e 14 pares de idiomas de imagens-texto, o que representa uma melhoria considerável em relação aos conjuntos de dados existentes. Realizamos experimentos extensivos para avaliar e treinar modelos no MIT-10M. Os resultados experimentais indicam claramente que nosso conjunto de dados possui maior adaptabilidade quando se trata de avaliar o desempenho dos modelos ao lidar com tarefas desafiadoras e complexas de tradução de imagens no mundo real. Além disso, o desempenho do modelo ajustado com o MIT-10M triplicou em comparação com o modelo de referência, confirmando ainda mais sua superioridade.

English

Image Translation (IT) holds immense potential across diverse domains, enabling the translation of textual content within images into various languages. However, existing datasets often suffer from limitations in scale, diversity, and quality, hindering the development and evaluation of IT models. To address this issue, we introduce MIT-10M, a large-scale parallel corpus of multilingual image translation with over 10M image-text pairs derived from real-world data, which has undergone extensive data cleaning and multilingual translation validation. It contains 840K images in three sizes, 28 categories, tasks with three levels of difficulty and 14 languages image-text pairs, which is a considerable improvement on existing datasets. We conduct extensive experiments to evaluate and train models on MIT-10M. The experimental results clearly indicate that our dataset has higher adaptability when it comes to evaluating the performance of the models in tackling challenging and complex image translation tasks in the real world. Moreover, the performance of the model fine-tuned with MIT-10M has tripled compared to the baseline model, further confirming its superiority.