VCR: Restauración de Subtítulos Visuales

VCR: Visual Caption Restoration

June 10, 2024

Autores: Tianyu Zhang, Suyuchen Wang, Lu Li, Ge Zhang, Perouz Taslakian, Sai Rajeswar, Jie Fu, Bang Liu, Yoshua Bengio

cs.AI

Resumen

Presentamos la Restauración de Subtítulos Visuales (VCR, por sus siglas en inglés), una novedosa tarea de visión y lenguaje que desafía a los modelos a restaurar con precisión textos parcialmente ocultos utilizando pistas a nivel de píxeles dentro de las imágenes. Esta tarea surge de la observación de que el texto incrustado en imágenes es intrínsecamente diferente de los elementos visuales comunes y del lenguaje natural debido a la necesidad de alinear las modalidades de visión, texto y texto incrustado en imágenes. Si bien numerosos trabajos han integrado texto incrustado en imágenes en tareas de respuesta a preguntas visuales, los enfoques para estas tareas generalmente dependen del reconocimiento óptico de caracteres o del modelado de lenguaje enmascarado, reduciendo así la tarea principalmente a un procesamiento basado en texto. Sin embargo, el procesamiento basado en texto se vuelve ineficaz en VCR, ya que la restauración precisa del texto depende de la información combinada de las imágenes proporcionadas, el contexto y las pistas sutiles de las pequeñas áreas expuestas de los textos enmascarados. Desarrollamos una canalización para generar imágenes sintéticas para la tarea VCR utilizando pares de imagen-subtítulo, con visibilidad ajustable del subtítulo para controlar la dificultad de la tarea. Con esta canalización, construimos un conjunto de datos para VCR llamado VCR-Wiki utilizando imágenes con subtítulos de Wikipedia, que comprende 2.11 millones de entidades en inglés y 346 mil en chino, en variantes de división fácil y difícil. Nuestros resultados revelan que los modelos actuales de visión y lenguaje están significativamente por detrás del rendimiento humano en la tarea VCR, y simplemente ajustar los modelos en nuestro conjunto de datos no conduce a mejoras notables. Publicamos VCR-Wiki y el código de construcción de datos para facilitar investigaciones futuras.

English

We introduce Visual Caption Restoration (VCR), a novel vision-language task that challenges models to accurately restore partially obscured texts using pixel-level hints within images. This task stems from the observation that text embedded in images is intrinsically different from common visual elements and natural language due to the need to align the modalities of vision, text, and text embedded in images. While numerous works have integrated text embedded in images into visual question-answering tasks, approaches to these tasks generally rely on optical character recognition or masked language modeling, thus reducing the task to mainly text-based processing. However, text-based processing becomes ineffective in VCR as accurate text restoration depends on the combined information from provided images, context, and subtle cues from the tiny exposed areas of masked texts. We develop a pipeline to generate synthetic images for the VCR task using image-caption pairs, with adjustable caption visibility to control the task difficulty. With this pipeline, we construct a dataset for VCR called VCR-Wiki using images with captions from Wikipedia, comprising 2.11M English and 346K Chinese entities in both easy and hard split variants. Our results reveal that current vision language models significantly lag behind human performance in the VCR task, and merely fine-tuning the models on our dataset does not lead to notable improvements. We release VCR-Wiki and the data construction code to facilitate future research.