MIT-10M: Un corpus paralelo a gran escala de traducción de imágenes multilingüe.

MIT-10M: A Large Scale Parallel Corpus of Multilingual Image Translation

December 10, 2024

Autores: Bo Li, Shaolin Zhu, Lijie Wen

cs.AI

Resumen

La Traducción de Imágenes (TI) tiene un inmenso potencial en diversos ámbitos, permitiendo la traducción del contenido textual dentro de las imágenes a varios idiomas. Sin embargo, los conjuntos de datos existentes a menudo sufren limitaciones en escala, diversidad y calidad, lo que dificulta el desarrollo y la evaluación de los modelos de TI. Para abordar este problema, presentamos MIT-10M, un corpus paralelo a gran escala de traducción de imágenes multilingüe con más de 10 millones de pares de imágenes-texto derivados de datos del mundo real, que ha sido sometido a una extensa limpieza de datos y validación de traducción multilingüe. Contiene 840 000 imágenes en tres tamaños, 28 categorías, tareas con tres niveles de dificultad y 14 pares de idiomas de imágenes-texto, lo cual representa una mejora considerable en comparación con los conjuntos de datos existentes. Realizamos experimentos exhaustivos para evaluar y entrenar modelos en MIT-10M. Los resultados experimentales indican claramente que nuestro conjunto de datos tiene una mayor adaptabilidad para evaluar el rendimiento de los modelos en abordar tareas de traducción de imágenes desafiantes y complejas en el mundo real. Además, el rendimiento del modelo ajustado con MIT-10M se ha triplicado en comparación con el modelo base, confirmando aún más su superioridad.

English

Image Translation (IT) holds immense potential across diverse domains, enabling the translation of textual content within images into various languages. However, existing datasets often suffer from limitations in scale, diversity, and quality, hindering the development and evaluation of IT models. To address this issue, we introduce MIT-10M, a large-scale parallel corpus of multilingual image translation with over 10M image-text pairs derived from real-world data, which has undergone extensive data cleaning and multilingual translation validation. It contains 840K images in three sizes, 28 categories, tasks with three levels of difficulty and 14 languages image-text pairs, which is a considerable improvement on existing datasets. We conduct extensive experiments to evaluate and train models on MIT-10M. The experimental results clearly indicate that our dataset has higher adaptability when it comes to evaluating the performance of the models in tackling challenging and complex image translation tasks in the real world. Moreover, the performance of the model fine-tuned with MIT-10M has tripled compared to the baseline model, further confirming its superiority.