Seleção Criativa Automática com Correspondência Multimodal

Automatic Creative Selection with Cross-Modal Matching

February 28, 2024

Autores: Alex Kim, Jia Huang, Rob Monarch, Jerry Kwac, Anikesh Kamath, Parmeshwar Khurd, Kailash Thiyagarajan, Goodman Gu

cs.AI

Resumo

Os desenvolvedores de aplicativos promovem seus Apps criando páginas de produtos com imagens do aplicativo e fazendo lances em termos de busca. Portanto, é crucial que as imagens do aplicativo sejam altamente relevantes para os termos de busca. Soluções para esse problema exigem um modelo de correspondência entre imagem e texto para prever a qualidade da correspondência entre a imagem escolhida e os termos de busca. Neste trabalho, apresentamos uma abordagem inovadora para corresponder uma imagem de App a termos de busca com base no ajuste fino de um modelo LXMERT pré-treinado. Demonstramos que, em comparação com o modelo CLIP e uma linha de base que utiliza um modelo Transformer para os termos de busca e um modelo ResNet para as imagens, melhoramos significativamente a precisão da correspondência. Avaliamos nossa abordagem usando dois conjuntos de rótulos: pares (imagem, termo de busca) associados ao anunciante para um determinado aplicativo e avaliações humanas sobre a relevância entre pares (imagem, termo de busca). Nossa abordagem alcança um score AUC de 0,96 para a verdade fundamental associada ao anunciante, superando a linha de base Transformer+ResNet e o modelo CLIP ajustado em 8% e 14%, respectivamente. Para a verdade fundamental rotulada por humanos, nossa abordagem alcança um score AUC de 0,95, superando a linha de base Transformer+ResNet e o modelo CLIP ajustado em 16% e 17%, respectivamente.

English

Application developers advertise their Apps by creating product pages with App images, and bidding on search terms. It is then crucial for App images to be highly relevant with the search terms. Solutions to this problem require an image-text matching model to predict the quality of the match between the chosen image and the search terms. In this work, we present a novel approach to matching an App image to search terms based on fine-tuning a pre-trained LXMERT model. We show that compared to the CLIP model and a baseline using a Transformer model for search terms, and a ResNet model for images, we significantly improve the matching accuracy. We evaluate our approach using two sets of labels: advertiser associated (image, search term) pairs for a given application, and human ratings for the relevance between (image, search term) pairs. Our approach achieves 0.96 AUC score for advertiser associated ground truth, outperforming the transformer+ResNet baseline and the fine-tuned CLIP model by 8% and 14%. For human labeled ground truth, our approach achieves 0.95 AUC score, outperforming the transformer+ResNet baseline and the fine-tuned CLIP model by 16% and 17%.