SITTA : Un Alignement Sémantique Image-Texte pour la Génération de Légendes d'Images

SITTA: A Semantic Image-Text Alignment for Image Captioning

July 10, 2023

Auteurs: Fabian Paischer, Thomas Adler, Markus Hofmarcher, Sepp Hochreiter

cs.AI

Résumé

La compréhension textuelle et sémantique des images est essentielle pour générer des légendes appropriées. Cette compréhension nécessite la détection d'objets, la modélisation des relations entre eux, une évaluation de la sémantique de la scène et, enfin, la représentation des connaissances extraites dans un espace linguistique. Pour atteindre des capacités linguistiques riches tout en assurant de bonnes correspondances entre image et langage, des modèles de langage (LMs) pré-entraînés ont été conditionnés sur des modèles multimodaux (image-texte) pré-entraînés qui permettent des entrées d'images. Cela nécessite un alignement de la représentation d'image du modèle multimodal avec les représentations linguistiques d'un LM génératif. Cependant, il n'est pas clair comment transférer au mieux la sémantique détectée par l'encodeur visuel du modèle multimodal vers le LM. Nous introduisons deux nouvelles façons de construire une cartographie linéaire qui transfère avec succès la sémantique entre les espaces d'embedding des deux modèles pré-entraînés. La première aligne l'espace d'embedding de l'encodeur de langage multimodal avec l'espace d'embedding du LM pré-entraîné via des correspondances de tokens. La seconde exploite des données supplémentaires composées de paires image-texte pour construire la cartographie directement de l'espace visuel à l'espace linguistique. En utilisant nos cartographies sémantiques, nous débloquons la génération de légendes d'images pour les LMs sans accès aux informations de gradient. En utilisant différentes sources de données, nous obtenons de solides performances en légendage sur les ensembles de données MS-COCO et Flickr30k. Même face à des données limitées, notre méthode dépasse en partie les performances d'autres concurrents en zero-shot et même finetunés. Nos études d'ablation montrent que même des LMs à l'échelle de seulement 250M paramètres peuvent générer des légendes décentes en employant nos cartographies sémantiques. Notre approche rend la génération de légendes d'images plus accessible pour les institutions disposant de ressources computationnelles limitées.

English

Textual and semantic comprehension of images is essential for generating proper captions. The comprehension requires detection of objects, modeling of relations between them, an assessment of the semantics of the scene and, finally, representing the extracted knowledge in a language space. To achieve rich language capabilities while ensuring good image-language mappings, pretrained language models (LMs) were conditioned on pretrained multi-modal (image-text) models that allow for image inputs. This requires an alignment of the image representation of the multi-modal model with the language representations of a generative LM. However, it is not clear how to best transfer semantics detected by the vision encoder of the multi-modal model to the LM. We introduce two novel ways of constructing a linear mapping that successfully transfers semantics between the embedding spaces of the two pretrained models. The first aligns the embedding space of the multi-modal language encoder with the embedding space of the pretrained LM via token correspondences. The latter leverages additional data that consists of image-text pairs to construct the mapping directly from vision to language space. Using our semantic mappings, we unlock image captioning for LMs without access to gradient information. By using different sources of data we achieve strong captioning performance on MS-COCO and Flickr30k datasets. Even in the face of limited data, our method partly exceeds the performance of other zero-shot and even finetuned competitors. Our ablation studies show that even LMs at a scale of merely 250M parameters can generate decent captions employing our semantic mappings. Our approach makes image captioning more accessible for institutions with restricted computational resources.