Méta-personnalisation des modèles vision-langage pour localiser des instances nommées dans des vidéos

Meta-Personalizing Vision-Language Models to Find Named Instances in Video

June 16, 2023

Auteurs: Chun-Hsiao Yeh, Bryan Russell, Josef Sivic, Fabian Caba Heilbron, Simon Jenni

cs.AI

Résumé

Les modèles de vision et langage à grande échelle (VLM) ont démontré des résultats impressionnants pour les applications de recherche guidée par le langage. Bien que ces modèles permettent des requêtes au niveau des catégories, ils peinent actuellement à effectuer des recherches personnalisées pour des moments dans une vidéo où apparaît une instance spécifique d'objet, comme « Mon chien Biscuit ». Nous présentons trois contributions pour résoudre ce problème. Premièrement, nous décrivons une méthode pour méta-personnaliser un VLM pré-entraîné, c'est-à-dire apprendre à personnaliser un VLM au moment du test pour effectuer des recherches dans des vidéos. Notre méthode étend le vocabulaire de tokens du VLM en apprenant de nouveaux embeddings de mots spécifiques à chaque instance. Pour capturer uniquement les caractéristiques spécifiques à l'instance, nous représentons chaque embedding d'instance comme une combinaison de caractéristiques globales partagées et apprises de la catégorie. Deuxièmement, nous proposons d'apprendre cette personnalisation sans supervision humaine explicite. Notre approche identifie automatiquement les moments d'instances visuelles nommées dans les vidéos en utilisant les transcriptions et la similarité vision-langage dans l'espace d'embedding du VLM. Enfin, nous introduisons This-Is-My, un benchmark de recherche d'instances vidéo personnalisées. Nous évaluons notre approche sur This-Is-My et DeepFashion2, et montrons que nous obtenons une amélioration relative de 15 % par rapport à l'état de l'art sur ce dernier ensemble de données.

English

Large-scale vision-language models (VLM) have shown impressive results for language-guided search applications. While these models allow category-level queries, they currently struggle with personalized searches for moments in a video where a specific object instance such as ``My dog Biscuit'' appears. We present the following three contributions to address this problem. First, we describe a method to meta-personalize a pre-trained VLM, i.e., learning how to learn to personalize a VLM at test time to search in video. Our method extends the VLM's token vocabulary by learning novel word embeddings specific to each instance. To capture only instance-specific features, we represent each instance embedding as a combination of shared and learned global category features. Second, we propose to learn such personalization without explicit human supervision. Our approach automatically identifies moments of named visual instances in video using transcripts and vision-language similarity in the VLM's embedding space. Finally, we introduce This-Is-My, a personal video instance retrieval benchmark. We evaluate our approach on This-Is-My and DeepFashion2 and show that we obtain a 15% relative improvement over the state of the art on the latter dataset.