KAFA: Repensando o Entendimento de Anúncios de Imagens com Adaptação de Recursos Aumentada por Conhecimento em Modelos Visão-Linguagem

KAFA: Rethinking Image Ad Understanding with Knowledge-Augmented Feature Adaptation of Vision-Language Models

May 28, 2023

Autores: Zhiwei Jia, Pradyumna Narayana, Arjun R. Akula, Garima Pruthi, Hao Su, Sugato Basu, Varun Jampani

cs.AI

Resumo

A compreensão de anúncios de imagem é uma tarefa crucial com amplas aplicações no mundo real. Embora altamente desafiadora devido à presença de cenas atípicas diversas, entidades do mundo real e raciocínio sobre textos de cena, a interpretação de anúncios de imagem é relativamente pouco explorada, especialmente na era dos modelos de visão e linguagem (VLMs) fundamentais, que apresentam generalização e adaptabilidade impressionantes. Neste artigo, realizamos o primeiro estudo empírico sobre a compreensão de anúncios de imagem através da lente de VLMs pré-treinados. Avaliamos e revelamos desafios práticos na adaptação desses VLMs para a compreensão de anúncios de imagem. Propomos uma estratégia simples de adaptação de características para fundir efetivamente informações multimodais para anúncios de imagem e aprimorá-la ainda mais com conhecimento de entidades do mundo real. Esperamos que nosso estudo atraia mais atenção para a compreensão de anúncios de imagem, que é amplamente relevante para a indústria publicitária.

English

Image ad understanding is a crucial task with wide real-world applications. Although highly challenging with the involvement of diverse atypical scenes, real-world entities, and reasoning over scene-texts, how to interpret image ads is relatively under-explored, especially in the era of foundational vision-language models (VLMs) featuring impressive generalizability and adaptability. In this paper, we perform the first empirical study of image ad understanding through the lens of pre-trained VLMs. We benchmark and reveal practical challenges in adapting these VLMs to image ad understanding. We propose a simple feature adaptation strategy to effectively fuse multimodal information for image ads and further empower it with knowledge of real-world entities. We hope our study draws more attention to image ad understanding which is broadly relevant to the advertising industry.