VCR: Restauração de Legendas Visuais

VCR: Visual Caption Restoration

June 10, 2024

Autores: Tianyu Zhang, Suyuchen Wang, Lu Li, Ge Zhang, Perouz Taslakian, Sai Rajeswar, Jie Fu, Bang Liu, Yoshua Bengio

cs.AI

Resumo

Apresentamos a Restauração de Legendas Visuais (Visual Caption Restoration - VCR), uma nova tarefa de visão e linguagem que desafia os modelos a restaurar com precisão textos parcialmente obscurecidos utilizando dicas em nível de pixel dentro de imagens. Essa tarefa surge da observação de que textos embutidos em imagens são intrinsecamente diferentes de elementos visuais comuns e da linguagem natural, devido à necessidade de alinhar as modalidades de visão, texto e texto embutido em imagens. Embora diversos trabalhos tenham integrado textos embutidos em imagens em tarefas de questionamento visual, as abordagens para essas tarefas geralmente dependem de reconhecimento óptico de caracteres ou modelagem de linguagem mascarada, reduzindo assim a tarefa principalmente ao processamento baseado em texto. No entanto, o processamento baseado em texto torna-se ineficaz na VCR, pois a restauração precisa do texto depende da combinação de informações das imagens fornecidas, do contexto e de pistas sutis das pequenas áreas expostas dos textos mascarados. Desenvolvemos um pipeline para gerar imagens sintéticas para a tarefa VCR utilizando pares de imagem-legenda, com visibilidade ajustável da legenda para controlar a dificuldade da tarefa. Com esse pipeline, construímos um conjunto de dados para VCR chamado VCR-Wiki, utilizando imagens com legendas da Wikipedia, compreendendo 2,11 milhões de entidades em inglês e 346 mil em chinês, em variantes de divisão fácil e difícil. Nossos resultados revelam que os modelos atuais de visão e linguagem estão significativamente atrás do desempenho humano na tarefa VCR, e o simples ajuste fino dos modelos em nosso conjunto de dados não leva a melhorias notáveis. Disponibilizamos o VCR-Wiki e o código de construção dos dados para facilitar pesquisas futuras.

English

We introduce Visual Caption Restoration (VCR), a novel vision-language task that challenges models to accurately restore partially obscured texts using pixel-level hints within images. This task stems from the observation that text embedded in images is intrinsically different from common visual elements and natural language due to the need to align the modalities of vision, text, and text embedded in images. While numerous works have integrated text embedded in images into visual question-answering tasks, approaches to these tasks generally rely on optical character recognition or masked language modeling, thus reducing the task to mainly text-based processing. However, text-based processing becomes ineffective in VCR as accurate text restoration depends on the combined information from provided images, context, and subtle cues from the tiny exposed areas of masked texts. We develop a pipeline to generate synthetic images for the VCR task using image-caption pairs, with adjustable caption visibility to control the task difficulty. With this pipeline, we construct a dataset for VCR called VCR-Wiki using images with captions from Wikipedia, comprising 2.11M English and 346K Chinese entities in both easy and hard split variants. Our results reveal that current vision language models significantly lag behind human performance in the VCR task, and merely fine-tuning the models on our dataset does not lead to notable improvements. We release VCR-Wiki and the data construction code to facilitate future research.