MIT-10M: Ein groß angelegter Parallelkorpus für mehrsprachige Bildübersetzungen

MIT-10M: A Large Scale Parallel Corpus of Multilingual Image Translation

December 10, 2024

Autoren: Bo Li, Shaolin Zhu, Lijie Wen

cs.AI

Zusammenfassung

Die Bildübersetzung (IT) birgt ein enormes Potenzial in verschiedenen Bereichen, da sie die Übersetzung von Textinhalten innerhalb von Bildern in verschiedene Sprachen ermöglicht. Allerdings leiden bestehende Datensätze häufig unter Einschränkungen hinsichtlich Umfang, Vielfalt und Qualität, was die Entwicklung und Evaluierung von IT-Modellen behindert. Um dieses Problem anzugehen, stellen wir MIT-10M vor, einen groß angelegten Parallelkorpus für multilinguale Bildübersetzung mit über 10 Millionen Bild-Text-Paaren, die aus realen Daten abgeleitet wurden. Dieser Korpus wurde umfassend gereinigt und die mehrsprachige Übersetzung validiert. Er enthält 840.000 Bilder in drei Größen, 28 Kategorien, Aufgaben mit drei Schwierigkeitsgraden und 14 Sprachen für Bild-Text-Paare, was eine erhebliche Verbesserung gegenüber bestehenden Datensätzen darstellt. Wir führen umfangreiche Experimente durch, um Modelle anhand von MIT-10M zu evaluieren und zu trainieren. Die experimentellen Ergebnisse zeigen deutlich, dass unser Datensatz eine höhere Anpassungsfähigkeit aufweist, wenn es darum geht, die Leistung der Modelle bei der Bewältigung anspruchsvoller und komplexer Bildübersetzungsaufgaben in der realen Welt zu bewerten. Darüber hinaus hat sich die Leistung des mit MIT-10M feinabgestimmten Modells im Vergleich zum Basismodell verdreifacht, was seine Überlegenheit weiter bestätigt.

English

Image Translation (IT) holds immense potential across diverse domains, enabling the translation of textual content within images into various languages. However, existing datasets often suffer from limitations in scale, diversity, and quality, hindering the development and evaluation of IT models. To address this issue, we introduce MIT-10M, a large-scale parallel corpus of multilingual image translation with over 10M image-text pairs derived from real-world data, which has undergone extensive data cleaning and multilingual translation validation. It contains 840K images in three sizes, 28 categories, tasks with three levels of difficulty and 14 languages image-text pairs, which is a considerable improvement on existing datasets. We conduct extensive experiments to evaluate and train models on MIT-10M. The experimental results clearly indicate that our dataset has higher adaptability when it comes to evaluating the performance of the models in tackling challenging and complex image translation tasks in the real world. Moreover, the performance of the model fine-tuned with MIT-10M has tripled compared to the baseline model, further confirming its superiority.