Selezione Creativa Automatica con Abbinamento Cross-Modale

Automatic Creative Selection with Cross-Modal Matching

February 28, 2024

Autori: Alex Kim, Jia Huang, Rob Monarch, Jerry Kwac, Anikesh Kamath, Parmeshwar Khurd, Kailash Thiyagarajan, Goodman Gu

cs.AI

Abstract

Gli sviluppatori di applicazioni promuovono le loro App creando pagine prodotto con immagini dell'App e facendo offerte sui termini di ricerca. È quindi fondamentale che le immagini dell'App siano altamente pertinenti ai termini di ricerca. Le soluzioni a questo problema richiedono un modello di corrispondenza immagine-testo per prevedere la qualità della corrispondenza tra l'immagine scelta e i termini di ricerca. In questo lavoro, presentiamo un approccio innovativo per abbinare un'immagine di App ai termini di ricerca basato sul fine-tuning di un modello LXMERT pre-addestrato. Dimostriamo che, rispetto al modello CLIP e a una baseline che utilizza un modello Transformer per i termini di ricerca e un modello ResNet per le immagini, miglioriamo significativamente l'accuratezza della corrispondenza. Valutiamo il nostro approccio utilizzando due set di etichette: coppie (immagine, termine di ricerca) associate agli inserzionisti per una determinata applicazione e valutazioni umane sulla pertinenza tra coppie (immagine, termine di ricerca). Il nostro approccio raggiunge un punteggio AUC di 0,96 per la verità di base associata agli inserzionisti, superando la baseline transformer+ResNet e il modello CLIP fine-tuned rispettivamente dell'8% e del 14%. Per la verità di base etichettata dagli esseri umani, il nostro approccio raggiunge un punteggio AUC di 0,95, superando la baseline transformer+ResNet e il modello CLIP fine-tuned rispettivamente del 16% e del 17%.

English

Application developers advertise their Apps by creating product pages with App images, and bidding on search terms. It is then crucial for App images to be highly relevant with the search terms. Solutions to this problem require an image-text matching model to predict the quality of the match between the chosen image and the search terms. In this work, we present a novel approach to matching an App image to search terms based on fine-tuning a pre-trained LXMERT model. We show that compared to the CLIP model and a baseline using a Transformer model for search terms, and a ResNet model for images, we significantly improve the matching accuracy. We evaluate our approach using two sets of labels: advertiser associated (image, search term) pairs for a given application, and human ratings for the relevance between (image, search term) pairs. Our approach achieves 0.96 AUC score for advertiser associated ground truth, outperforming the transformer+ResNet baseline and the fine-tuned CLIP model by 8% and 14%. For human labeled ground truth, our approach achieves 0.95 AUC score, outperforming the transformer+ResNet baseline and the fine-tuned CLIP model by 16% and 17%.