SITTA: Семантическое согласование изображений и текста для генерации подписей к изображениям

SITTA: A Semantic Image-Text Alignment for Image Captioning

July 10, 2023

Авторы: Fabian Paischer, Thomas Adler, Markus Hofmarcher, Sepp Hochreiter

cs.AI

Аннотация

Текстовое и семантическое понимание изображений является ключевым для генерации качественных описаний. Такое понимание требует обнаружения объектов, моделирования отношений между ними, оценки семантики сцены и, наконец, представления извлеченных знаний в языковом пространстве. Для достижения богатых языковых возможностей при обеспечении хорошего соответствия между изображением и текстом, предобученные языковые модели (LM) были адаптированы с использованием предобученных мультимодальных (изображение-текст) моделей, которые позволяют работать с входными изображениями. Это требует согласования представления изображения в мультимодальной модели с языковыми представлениями генеративной LM. Однако остается неясным, как лучше всего передать семантику, обнаруженную визуальным кодировщиком мультимодальной модели, в языковую модель. Мы предлагаем два новых способа построения линейного отображения, которое успешно передает семантику между пространствами встраивания двух предобученных моделей. Первый способ согласует пространство встраивания языкового кодировщика мультимодальной модели с пространством встраивания предобученной LM через соответствия токенов. Второй способ использует дополнительные данные, состоящие из пар изображение-текст, для построения отображения непосредственно из визуального пространства в языковое. Используя наши семантические отображения, мы открываем возможность генерации описаний изображений для LM без доступа к информации о градиентах. Применяя различные источники данных, мы достигаем высокой производительности на наборах данных MS-COCO и Flickr30k. Даже в условиях ограниченных данных наш метод частично превосходит результаты других подходов, включая zero-shot и даже дообученные модели. Наши исследования показывают, что даже LM с масштабом всего в 250M параметров могут генерировать достойные описания с использованием наших семантических отображений. Наш подход делает генерацию описаний изображений более доступной для организаций с ограниченными вычислительными ресурсами.

English

Textual and semantic comprehension of images is essential for generating proper captions. The comprehension requires detection of objects, modeling of relations between them, an assessment of the semantics of the scene and, finally, representing the extracted knowledge in a language space. To achieve rich language capabilities while ensuring good image-language mappings, pretrained language models (LMs) were conditioned on pretrained multi-modal (image-text) models that allow for image inputs. This requires an alignment of the image representation of the multi-modal model with the language representations of a generative LM. However, it is not clear how to best transfer semantics detected by the vision encoder of the multi-modal model to the LM. We introduce two novel ways of constructing a linear mapping that successfully transfers semantics between the embedding spaces of the two pretrained models. The first aligns the embedding space of the multi-modal language encoder with the embedding space of the pretrained LM via token correspondences. The latter leverages additional data that consists of image-text pairs to construct the mapping directly from vision to language space. Using our semantic mappings, we unlock image captioning for LMs without access to gradient information. By using different sources of data we achieve strong captioning performance on MS-COCO and Flickr30k datasets. Even in the face of limited data, our method partly exceeds the performance of other zero-shot and even finetuned competitors. Our ablation studies show that even LMs at a scale of merely 250M parameters can generate decent captions employing our semantic mappings. Our approach makes image captioning more accessible for institutions with restricted computational resources.