Sélection Créative Automatique avec Appariement Intermodal

Automatic Creative Selection with Cross-Modal Matching

February 28, 2024

Auteurs: Alex Kim, Jia Huang, Rob Monarch, Jerry Kwac, Anikesh Kamath, Parmeshwar Khurd, Kailash Thiyagarajan, Goodman Gu

cs.AI

Résumé

Les développeurs d'applications font la promotion de leurs applications en créant des pages produits avec des images d'applications et en enchérissant sur des termes de recherche. Il est donc crucial que les images des applications soient hautement pertinentes par rapport aux termes de recherche. Les solutions à ce problème nécessitent un modèle de correspondance image-texte pour prédire la qualité de la correspondance entre l'image choisie et les termes de recherche. Dans ce travail, nous présentons une nouvelle approche pour associer une image d'application à des termes de recherche en affinant un modèle LXMERT pré-entraîné. Nous montrons que, par rapport au modèle CLIP et à une base utilisant un modèle Transformer pour les termes de recherche et un modèle ResNet pour les images, nous améliorons significativement la précision de la correspondance. Nous évaluons notre approche en utilisant deux ensembles d'étiquettes : des paires (image, terme de recherche) associées par les annonceurs pour une application donnée, et des évaluations humaines sur la pertinence des paires (image, terme de recherche). Notre approche atteint un score AUC de 0,96 pour les données de référence associées par les annonceurs, surpassant la base Transformer+ResNet et le modèle CLIP affiné de 8 % et 14 %. Pour les données de référence étiquetées par des humains, notre approche atteint un score AUC de 0,95, surpassant la base Transformer+ResNet et le modèle CLIP affiné de 16 % et 17 %.

English

Application developers advertise their Apps by creating product pages with App images, and bidding on search terms. It is then crucial for App images to be highly relevant with the search terms. Solutions to this problem require an image-text matching model to predict the quality of the match between the chosen image and the search terms. In this work, we present a novel approach to matching an App image to search terms based on fine-tuning a pre-trained LXMERT model. We show that compared to the CLIP model and a baseline using a Transformer model for search terms, and a ResNet model for images, we significantly improve the matching accuracy. We evaluate our approach using two sets of labels: advertiser associated (image, search term) pairs for a given application, and human ratings for the relevance between (image, search term) pairs. Our approach achieves 0.96 AUC score for advertiser associated ground truth, outperforming the transformer+ResNet baseline and the fine-tuned CLIP model by 8% and 14%. For human labeled ground truth, our approach achieves 0.95 AUC score, outperforming the transformer+ResNet baseline and the fine-tuned CLIP model by 16% and 17%.