Automatische kreative Auswahl mit Cross-Modal Matching.

Automatic Creative Selection with Cross-Modal Matching

February 28, 2024

Autoren: Alex Kim, Jia Huang, Rob Monarch, Jerry Kwac, Anikesh Kamath, Parmeshwar Khurd, Kailash Thiyagarajan, Goodman Gu

cs.AI

Zusammenfassung

Anwendungsentwickler bewerben ihre Apps, indem sie Produktseiten mit App-Bildern erstellen und auf Suchbegriffe bieten. Es ist daher entscheidend, dass die App-Bilder sehr relevant zu den Suchbegriffen sind. Lösungen für dieses Problem erfordern ein Bild-Text-Matching-Modell, um die Qualität der Übereinstimmung zwischen dem ausgewählten Bild und den Suchbegriffen vorherzusagen. In dieser Arbeit präsentieren wir einen neuartigen Ansatz, um ein App-Bild mit Suchbegriffen abzugleichen, basierend auf dem Feinabstimmen eines vorab trainierten LXMERT-Modells. Wir zeigen, dass im Vergleich zum CLIP-Modell und einem Baseline-Modell, das ein Transformer-Modell für Suchbegriffe und ein ResNet-Modell für Bilder verwendet, die Übereinstimmungsgenauigkeit signifikant verbessert wird. Wir evaluieren unseren Ansatz unter Verwendung von zwei Label-Sets: Werbetreibende zugeordnete (Bild, Suchbegriff)-Paare für eine bestimmte Anwendung und menschliche Bewertungen für die Relevanz zwischen (Bild, Suchbegriff)-Paaren. Unser Ansatz erzielt einen AUC-Score von 0,96 für werbetreibende zugeordnete Ground-Truth-Daten und übertrifft die Transformer+ResNet-Baseline und das feinabgestimmte CLIP-Modell um 8% bzw. 14%. Für menschlich bewertete Ground-Truth-Daten erzielt unser Ansatz einen AUC-Score von 0,95 und übertrifft die Transformer+ResNet-Baseline und das feinabgestimmte CLIP-Modell um 16% bzw. 17%.

English

Application developers advertise their Apps by creating product pages with App images, and bidding on search terms. It is then crucial for App images to be highly relevant with the search terms. Solutions to this problem require an image-text matching model to predict the quality of the match between the chosen image and the search terms. In this work, we present a novel approach to matching an App image to search terms based on fine-tuning a pre-trained LXMERT model. We show that compared to the CLIP model and a baseline using a Transformer model for search terms, and a ResNet model for images, we significantly improve the matching accuracy. We evaluate our approach using two sets of labels: advertiser associated (image, search term) pairs for a given application, and human ratings for the relevance between (image, search term) pairs. Our approach achieves 0.96 AUC score for advertiser associated ground truth, outperforming the transformer+ResNet baseline and the fine-tuned CLIP model by 8% and 14%. For human labeled ground truth, our approach achieves 0.95 AUC score, outperforming the transformer+ResNet baseline and the fine-tuned CLIP model by 16% and 17%.