Восстановление подписей на изображениях: Визуальное восстановление подписей

VCR: Visual Caption Restoration

June 10, 2024

Авторы: Tianyu Zhang, Suyuchen Wang, Lu Li, Ge Zhang, Perouz Taslakian, Sai Rajeswar, Jie Fu, Bang Liu, Yoshua Bengio

cs.AI

Аннотация

Мы представляем новую задачу в области видео-языкового моделирования - Визуальное Восстановление Подписей (VCR), которая ставит перед моделями задачу точного восстановления частично скрытых текстов с использованием подсказок на уровне пикселей в изображениях. Эта задача возникает из наблюдения, что текст, встроенный в изображения, фундаментально отличается от обычных визуальных элементов и естественного языка из-за необходимости выравнивания модальностей видения, текста и текста, встроенного в изображения. В то время как множество работ интегрировали текст, встроенный в изображения, в задачи визуального вопросно-ответного моделирования, подходы к этим задачам обычно опираются на оптическое распознавание символов или маскированное языковое моделирование, что сводит задачу в основном к обработке на основе текста. Однако обработка на основе текста становится неэффективной в VCR, так как точное восстановление текста зависит от комбинированной информации из предоставленных изображений, контекста и тонких подсказок из маленьких обнаженных областей замаскированных текстов. Мы разработали конвейер для создания синтетических изображений для задачи VCR с использованием пар изображение-подпись, с возможностью регулирования видимости подписи для управления сложностью задачи. С помощью этого конвейера мы создали набор данных для VCR под названием VCR-Wiki, используя изображения с подписями из Википедии, включающий 2,11 млн английских и 346 тыс. китайских сущностей в вариантах легкой и сложной разбивки. Наши результаты показывают, что текущие модели видео-языкового моделирования значительно отстают от человеческой производительности в задаче VCR, и простое донастройка моделей на нашем наборе данных не приводит к значительным улучшениям. Мы публикуем VCR-Wiki и код для создания данных для облегчения будущих исследований.

English

We introduce Visual Caption Restoration (VCR), a novel vision-language task that challenges models to accurately restore partially obscured texts using pixel-level hints within images. This task stems from the observation that text embedded in images is intrinsically different from common visual elements and natural language due to the need to align the modalities of vision, text, and text embedded in images. While numerous works have integrated text embedded in images into visual question-answering tasks, approaches to these tasks generally rely on optical character recognition or masked language modeling, thus reducing the task to mainly text-based processing. However, text-based processing becomes ineffective in VCR as accurate text restoration depends on the combined information from provided images, context, and subtle cues from the tiny exposed areas of masked texts. We develop a pipeline to generate synthetic images for the VCR task using image-caption pairs, with adjustable caption visibility to control the task difficulty. With this pipeline, we construct a dataset for VCR called VCR-Wiki using images with captions from Wikipedia, comprising 2.11M English and 346K Chinese entities in both easy and hard split variants. Our results reveal that current vision language models significantly lag behind human performance in the VCR task, and merely fine-tuning the models on our dataset does not lead to notable improvements. We release VCR-Wiki and the data construction code to facilitate future research.