Recommandation musicale guidée par le langage pour la vidéo via des analogies de prompts

Language-Guided Music Recommendation for Video via Prompt Analogies

June 15, 2023

Auteurs: Daniel McKee, Justin Salamon, Josef Sivic, Bryan Russell

cs.AI

Résumé

Nous proposons une méthode pour recommander de la musique pour une vidéo d'entrée tout en permettant à un utilisateur de guider la sélection musicale à l'aide de langage naturel libre. Un défi majeur de ce contexte est que les ensembles de données existants de vidéos musicales fournissent les paires (vidéo, musique) nécessaires à l'entraînement, mais manquent de descriptions textuelles de la musique. Ce travail aborde ce défi avec les trois contributions suivantes. Premièrement, nous proposons une approche de synthèse de texte qui s'appuie sur une procédure d'incitation basée sur l'analogie pour générer des descriptions musicales en langage naturel à partir d'un modèle de langage à grande échelle (BLOOM-176B), en utilisant les sorties d'un étiqueteur musical pré-entraîné et un petit nombre de descriptions textuelles humaines. Deuxièmement, nous utilisons ces descriptions musicales synthétisées pour entraîner un nouveau modèle trimodal, qui fusionne les représentations d'entrée textuelles et vidéo pour interroger des échantillons musicaux. Pour l'entraînement, nous introduisons un mécanisme de régularisation par abandon de texte, dont nous montrons qu'il est crucial pour les performances du modèle. La conception de notre modèle permet à la musique récupérée de correspondre aux deux modalités d'entrée en alignant le style visuel représenté dans la vidéo avec le genre musical, l'ambiance ou l'instrumentation décrits dans la requête en langage naturel. Troisièmement, pour évaluer notre approche, nous collectons un ensemble de données de test pour notre problème en annotant un sous-ensemble de 4 000 clips du jeu de données YT8M-MusicVideo avec des descriptions musicales en langage naturel, que nous rendons publiquement disponibles. Nous montrons que notre approche peut égaler ou surpasser les performances des méthodes précédentes en matière de récupération vidéo-vers-musique, tout en améliorant significativement la précision de la récupération lors de l'utilisation de guidage textuel.

English

We propose a method to recommend music for an input video while allowing a user to guide music selection with free-form natural language. A key challenge of this problem setting is that existing music video datasets provide the needed (video, music) training pairs, but lack text descriptions of the music. This work addresses this challenge with the following three contributions. First, we propose a text-synthesis approach that relies on an analogy-based prompting procedure to generate natural language music descriptions from a large-scale language model (BLOOM-176B) given pre-trained music tagger outputs and a small number of human text descriptions. Second, we use these synthesized music descriptions to train a new trimodal model, which fuses text and video input representations to query music samples. For training, we introduce a text dropout regularization mechanism which we show is critical to model performance. Our model design allows for the retrieved music audio to agree with the two input modalities by matching visual style depicted in the video and musical genre, mood, or instrumentation described in the natural language query. Third, to evaluate our approach, we collect a testing dataset for our problem by annotating a subset of 4k clips from the YT8M-MusicVideo dataset with natural language music descriptions which we make publicly available. We show that our approach can match or exceed the performance of prior methods on video-to-music retrieval while significantly improving retrieval accuracy when using text guidance.