クロスモーダルマッチングによる自動的創造的選択

Automatic Creative Selection with Cross-Modal Matching

February 28, 2024

著者: Alex Kim, Jia Huang, Rob Monarch, Jerry Kwac, Anikesh Kamath, Parmeshwar Khurd, Kailash Thiyagarajan, Goodman Gu

cs.AI

要旨

アプリ開発者は、アプリ画像を含む製品ページを作成し、検索用語に入札することで自社アプリを宣伝します。この際、アプリ画像が検索用語と高い関連性を持つことが極めて重要です。この問題を解決するためには、選択された画像と検索用語のマッチング品質を予測する画像-テキストマッチングモデルが必要です。本研究では、事前学習済みのLXMERTモデルをファインチューニングすることで、アプリ画像と検索用語をマッチングする新しいアプローチを提案します。CLIPモデルや、検索用語にTransformerモデル、画像にResNetモデルを使用したベースラインと比較し、マッチング精度を大幅に向上させることを示します。評価には2種類のラベルを使用します：特定のアプリケーションに関連する広告主が提供した（画像、検索用語）ペアと、（画像、検索用語）ペア間の関連性に対する人間による評価です。提案手法は、広告主が提供した正解データに対して0.96のAUCスコアを達成し、Transformer+ResNetベースラインおよびファインチューニングされたCLIPモデルをそれぞれ8％および14％上回りました。人間がラベル付けした正解データに対しては0.95のAUCスコアを達成し、Transformer+ResNetベースラインおよびファインチューニングされたCLIPモデルをそれぞれ16％および17％上回りました。

English

Application developers advertise their Apps by creating product pages with App images, and bidding on search terms. It is then crucial for App images to be highly relevant with the search terms. Solutions to this problem require an image-text matching model to predict the quality of the match between the chosen image and the search terms. In this work, we present a novel approach to matching an App image to search terms based on fine-tuning a pre-trained LXMERT model. We show that compared to the CLIP model and a baseline using a Transformer model for search terms, and a ResNet model for images, we significantly improve the matching accuracy. We evaluate our approach using two sets of labels: advertiser associated (image, search term) pairs for a given application, and human ratings for the relevance between (image, search term) pairs. Our approach achieves 0.96 AUC score for advertiser associated ground truth, outperforming the transformer+ResNet baseline and the fine-tuned CLIP model by 8% and 14%. For human labeled ground truth, our approach achieves 0.95 AUC score, outperforming the transformer+ResNet baseline and the fine-tuned CLIP model by 16% and 17%.