KAFA: Переосмысление понимания рекламных изображений с помощью адаптации признаков, усиленной знаниями, в моделях "визуальный язык"

KAFA: Rethinking Image Ad Understanding with Knowledge-Augmented Feature Adaptation of Vision-Language Models

May 28, 2023

Авторы: Zhiwei Jia, Pradyumna Narayana, Arjun R. Akula, Garima Pruthi, Hao Su, Sugato Basu, Varun Jampani

cs.AI

Аннотация

Понимание рекламных изображений является важной задачей с широким спектром практических применений. Несмотря на высокую сложность, связанную с разнообразием нетипичных сцен, реальных объектов и необходимостью анализа текстов в изображениях, интерпретация рекламных изображений остается недостаточно изученной, особенно в эпоху базовых моделей обработки визуальной и текстовой информации (VLMs), которые демонстрируют впечатляющую обобщаемость и адаптивность. В данной работе мы проводим первое эмпирическое исследование понимания рекламных изображений с использованием предобученных VLMs. Мы оцениваем и выявляем практические трудности адаптации этих моделей к задаче понимания рекламных изображений. Мы предлагаем простую стратегию адаптации признаков для эффективного объединения мультимодальной информации в рекламных изображениях и дополнительно усиливаем её знаниями о реальных объектах. Мы надеемся, что наше исследование привлечет больше внимания к пониманию рекламных изображений, что имеет широкое значение для рекламной индустрии.

English

Image ad understanding is a crucial task with wide real-world applications. Although highly challenging with the involvement of diverse atypical scenes, real-world entities, and reasoning over scene-texts, how to interpret image ads is relatively under-explored, especially in the era of foundational vision-language models (VLMs) featuring impressive generalizability and adaptability. In this paper, we perform the first empirical study of image ad understanding through the lens of pre-trained VLMs. We benchmark and reveal practical challenges in adapting these VLMs to image ad understanding. We propose a simple feature adaptation strategy to effectively fuse multimodal information for image ads and further empower it with knowledge of real-world entities. We hope our study draws more attention to image ad understanding which is broadly relevant to the advertising industry.