Автоматический креативный выбор с кросс-модальным сопоставлением.

Automatic Creative Selection with Cross-Modal Matching

February 28, 2024

Авторы: Alex Kim, Jia Huang, Rob Monarch, Jerry Kwac, Anikesh Kamath, Parmeshwar Khurd, Kailash Thiyagarajan, Goodman Gu

cs.AI

Аннотация

Разработчики приложений рекламируют свои приложения, создавая страницы продуктов с изображениями приложений и участвуя в аукционах по поисковым запросам. Поэтому крайне важно, чтобы изображения приложений были тесно связаны с поисковыми запросами. Решения этой проблемы требуют модели соответствия изображения и текста для прогнозирования качества соответствия выбранного изображения и поисковых запросов. В данной работе мы представляем новый подход к сопоставлению изображения приложения и поисковых запросов на основе донастройки предварительно обученной модели LXMERT. Мы показываем, что по сравнению с моделью CLIP и базовой моделью, использующей модель Transformer для поисковых запросов и модель ResNet для изображений, мы значительно улучшаем точность сопоставления. Мы оцениваем наш подход, используя два набора меток: связанные с рекламодателями пары (изображение, поисковый запрос) для определенного приложения и оценки людей для соответствия между парами (изображение, поисковый запрос). Наш подход достигает оценки AUC 0.96 для связанных с рекламодателями истинных данных, превосходя базовую модель transformer+ResNet и донастроенную модель CLIP на 8% и 14%. Для истинных данных, помеченных людьми, наш подход достигает оценки AUC 0.95, превосходя базовую модель transformer+ResNet и донастроенную модель CLIP на 16% и 17%.

English

Application developers advertise their Apps by creating product pages with App images, and bidding on search terms. It is then crucial for App images to be highly relevant with the search terms. Solutions to this problem require an image-text matching model to predict the quality of the match between the chosen image and the search terms. In this work, we present a novel approach to matching an App image to search terms based on fine-tuning a pre-trained LXMERT model. We show that compared to the CLIP model and a baseline using a Transformer model for search terms, and a ResNet model for images, we significantly improve the matching accuracy. We evaluate our approach using two sets of labels: advertiser associated (image, search term) pairs for a given application, and human ratings for the relevance between (image, search term) pairs. Our approach achieves 0.96 AUC score for advertiser associated ground truth, outperforming the transformer+ResNet baseline and the fine-tuned CLIP model by 8% and 14%. For human labeled ground truth, our approach achieves 0.95 AUC score, outperforming the transformer+ResNet baseline and the fine-tuned CLIP model by 16% and 17%.