Automatische Creatieve Selectie met Cross-Modale Matching

Samenvatting

Applicatieontwikkelaars adverteren hun apps door productpagina's te maken met app-afbeeldingen en te bieden op zoektermen. Het is dan cruciaal dat de app-afbeeldingen zeer relevant zijn voor de zoektermen. Oplossingen voor dit probleem vereisen een beeld-tekst-matchingmodel om de kwaliteit van de match tussen de gekozen afbeelding en de zoektermen te voorspellen. In dit werk presenteren we een nieuwe aanpak om een app-afbeelding te matchen met zoektermen op basis van het finetunen van een vooraf getraind LXMERT-model. We tonen aan dat we, vergeleken met het CLIP-model en een baseline die een Transformer-model gebruikt voor zoektermen en een ResNet-model voor afbeeldingen, de matchingnauwkeurigheid aanzienlijk verbeteren. We evalueren onze aanpak met behulp van twee sets labels: door adverteerders geassocieerde (afbeelding, zoekterm)-paren voor een gegeven applicatie, en menselijke beoordelingen voor de relevantie tussen (afbeelding, zoekterm)-paren. Onze aanpak behaalt een AUC-score van 0,96 voor de door adverteerders geassocieerde grondwaarheid, wat de transformer+ResNet-baseline en het gefinetunde CLIP-model met respectievelijk 8% en 14% overtreft. Voor door mensen gelabelde grondwaarheid behaalt onze aanpak een AUC-score van 0,95, wat de transformer+ResNet-baseline en het gefinetunde CLIP-model met respectievelijk 16% en 17% overtreft.

English

Application developers advertise their Apps by creating product pages with App images, and bidding on search terms. It is then crucial for App images to be highly relevant with the search terms. Solutions to this problem require an image-text matching model to predict the quality of the match between the chosen image and the search terms. In this work, we present a novel approach to matching an App image to search terms based on fine-tuning a pre-trained LXMERT model. We show that compared to the CLIP model and a baseline using a Transformer model for search terms, and a ResNet model for images, we significantly improve the matching accuracy. We evaluate our approach using two sets of labels: advertiser associated (image, search term) pairs for a given application, and human ratings for the relevance between (image, search term) pairs. Our approach achieves 0.96 AUC score for advertiser associated ground truth, outperforming the transformer+ResNet baseline and the fine-tuned CLIP model by 8% and 14%. For human labeled ground truth, our approach achieves 0.95 AUC score, outperforming the transformer+ResNet baseline and the fine-tuned CLIP model by 16% and 17%.

Automatische Creatieve Selectie met Cross-Modale Matching

Automatic Creative Selection with Cross-Modal Matching

Samenvatting

Support