KAFA : Repenser la compréhension des publicités visuelles grâce à l'adaptation de caractéristiques enrichies par des connaissances dans les modèles vision-langage

KAFA: Rethinking Image Ad Understanding with Knowledge-Augmented Feature Adaptation of Vision-Language Models

May 28, 2023

Auteurs: Zhiwei Jia, Pradyumna Narayana, Arjun R. Akula, Garima Pruthi, Hao Su, Sugato Basu, Varun Jampani

cs.AI

Résumé

La compréhension des publicités visuelles est une tâche cruciale avec de nombreuses applications pratiques. Bien que très complexe en raison de la diversité des scènes atypiques, des entités du monde réel et du raisonnement sur les textes intégrés, l'interprétation des publicités visuelles reste relativement peu explorée, en particulier à l'ère des modèles fondateurs vision-langage (VLMs) qui se distinguent par leur impressionnante généralisabilité et adaptabilité. Dans cet article, nous menons la première étude empirique sur la compréhension des publicités visuelles à travers le prisme des VLMs pré-entraînés. Nous établissons un benchmark et révélons les défis pratiques liés à l'adaptation de ces VLMs à la compréhension des publicités visuelles. Nous proposons une stratégie simple d'adaptation des caractéristiques pour fusionner efficacement les informations multimodales des publicités visuelles, en l'enrichissant avec des connaissances sur les entités du monde réel. Nous espérons que notre étude attirera davantage l'attention sur la compréhension des publicités visuelles, un domaine largement pertinent pour l'industrie publicitaire.

English

Image ad understanding is a crucial task with wide real-world applications. Although highly challenging with the involvement of diverse atypical scenes, real-world entities, and reasoning over scene-texts, how to interpret image ads is relatively under-explored, especially in the era of foundational vision-language models (VLMs) featuring impressive generalizability and adaptability. In this paper, we perform the first empirical study of image ad understanding through the lens of pre-trained VLMs. We benchmark and reveal practical challenges in adapting these VLMs to image ad understanding. We propose a simple feature adaptation strategy to effectively fuse multimodal information for image ads and further empower it with knowledge of real-world entities. We hope our study draws more attention to image ad understanding which is broadly relevant to the advertising industry.