Meta-Personalizzazione di Modelli Visione-Linguaggio per Individuare Istanza Nominate nei Video

Meta-Personalizing Vision-Language Models to Find Named Instances in Video

June 16, 2023

Autori: Chun-Hsiao Yeh, Bryan Russell, Josef Sivic, Fabian Caba Heilbron, Simon Jenni

cs.AI

Abstract

I modelli visione-linguaggio su larga scala (VLM) hanno dimostrato risultati impressionanti nelle applicazioni di ricerca guidata dal linguaggio. Sebbene questi modelli consentano query a livello di categoria, attualmente faticano nelle ricerche personalizzate per momenti in un video in cui appare un'istanza specifica di un oggetto, come "Il mio cane Biscotto". Presentiamo i seguenti tre contributi per affrontare questo problema. In primo luogo, descriviamo un metodo per meta-personalizzare un VLM pre-addestrato, ovvero imparare come apprendere a personalizzare un VLM al momento del test per effettuare ricerche nei video. Il nostro metodo estende il vocabolario di token del VLM apprendendo nuovi word embedding specifici per ciascuna istanza. Per catturare solo le caratteristiche specifiche dell'istanza, rappresentiamo ogni embedding dell'istanza come una combinazione di caratteristiche globali condivise e apprese della categoria. In secondo luogo, proponiamo di apprendere tale personalizzazione senza una supervisione umana esplicita. Il nostro approccio identifica automaticamente i momenti delle istanze visive nominate nei video utilizzando trascrizioni e la similarità visione-linguaggio nello spazio di embedding del VLM. Infine, introduciamo This-Is-My, un benchmark per il recupero di istanze video personalizzate. Valutiamo il nostro approccio su This-Is-My e DeepFashion2, dimostrando un miglioramento relativo del 15% rispetto allo stato dell'arte su quest'ultimo dataset.

English

Large-scale vision-language models (VLM) have shown impressive results for language-guided search applications. While these models allow category-level queries, they currently struggle with personalized searches for moments in a video where a specific object instance such as ``My dog Biscuit'' appears. We present the following three contributions to address this problem. First, we describe a method to meta-personalize a pre-trained VLM, i.e., learning how to learn to personalize a VLM at test time to search in video. Our method extends the VLM's token vocabulary by learning novel word embeddings specific to each instance. To capture only instance-specific features, we represent each instance embedding as a combination of shared and learned global category features. Second, we propose to learn such personalization without explicit human supervision. Our approach automatically identifies moments of named visual instances in video using transcripts and vision-language similarity in the VLM's embedding space. Finally, we introduce This-Is-My, a personal video instance retrieval benchmark. We evaluate our approach on This-Is-My and DeepFashion2 and show that we obtain a 15% relative improvement over the state of the art on the latter dataset.