VCR: Visuelle Untertitelwiederherstellung

VCR: Visual Caption Restoration

June 10, 2024

Autoren: Tianyu Zhang, Suyuchen Wang, Lu Li, Ge Zhang, Perouz Taslakian, Sai Rajeswar, Jie Fu, Bang Liu, Yoshua Bengio

cs.AI

Zusammenfassung

Wir stellen Visual Caption Restoration (VCR) vor, eine neuartige Vision-Sprache-Aufgabe, die Modelle herausfordert, teilweise verdeckte Texte genau mithilfe von Pixelhinweisen innerhalb von Bildern wiederherzustellen. Diese Aufgabe basiert auf der Beobachtung, dass in Bildern eingebetteter Text intrinsisch anders ist als übliche visuelle Elemente und natürliche Sprache aufgrund der Notwendigkeit, die Modalitäten von Vision, Text und in Bildern eingebettetem Text auszurichten. Während zahlreiche Arbeiten Texte in Bildern in visuelle Frage-Antwort-Aufgaben integriert haben, stützen sich Ansätze für diese Aufgaben im Allgemeinen auf optische Zeichenerkennung oder maskiertes Sprachmodellieren, wodurch die Aufgabe hauptsächlich auf textbasierte Verarbeitung reduziert wird. Textbasierte Verarbeitung wird jedoch in VCR ineffektiv, da eine genaue Textwiederherstellung von kombinierten Informationen aus bereitgestellten Bildern, Kontext und subtilen Hinweisen aus den winzigen freigelegten Bereichen maskierter Texte abhängt. Wir entwickeln eine Pipeline zur Erzeugung synthetischer Bilder für die VCR-Aufgabe unter Verwendung von Bildunterschriftspaaren, wobei die Sichtbarkeit der Untertitel angepasst werden kann, um die Schwierigkeit der Aufgabe zu steuern. Mit dieser Pipeline erstellen wir einen Datensatz für VCR namens VCR-Wiki, der Bilder mit Untertiteln aus Wikipedia umfasst und 2,11 Mio. englische und 346.000 chinesische Entitäten in beiden einfachen und schwierigen Varianten enthält. Unsere Ergebnisse zeigen, dass aktuelle Vision-Sprache-Modelle in der VCR-Aufgabe signifikant hinter der menschlichen Leistung zurückbleiben und das reine Feintuning der Modelle auf unserem Datensatz nicht zu bemerkenswerten Verbesserungen führt. Wir veröffentlichen VCR-Wiki und den Datenerstellungsscode, um zukünftige Forschung zu erleichtern.

English

We introduce Visual Caption Restoration (VCR), a novel vision-language task that challenges models to accurately restore partially obscured texts using pixel-level hints within images. This task stems from the observation that text embedded in images is intrinsically different from common visual elements and natural language due to the need to align the modalities of vision, text, and text embedded in images. While numerous works have integrated text embedded in images into visual question-answering tasks, approaches to these tasks generally rely on optical character recognition or masked language modeling, thus reducing the task to mainly text-based processing. However, text-based processing becomes ineffective in VCR as accurate text restoration depends on the combined information from provided images, context, and subtle cues from the tiny exposed areas of masked texts. We develop a pipeline to generate synthetic images for the VCR task using image-caption pairs, with adjustable caption visibility to control the task difficulty. With this pipeline, we construct a dataset for VCR called VCR-Wiki using images with captions from Wikipedia, comprising 2.11M English and 346K Chinese entities in both easy and hard split variants. Our results reveal that current vision language models significantly lag behind human performance in the VCR task, and merely fine-tuning the models on our dataset does not lead to notable improvements. We release VCR-Wiki and the data construction code to facilitate future research.