Meta-Personalisierung von Vision-Sprach-Modellen zur Identifizierung benannter Instanzen in Videos

Meta-Personalizing Vision-Language Models to Find Named Instances in Video

June 16, 2023

Autoren: Chun-Hsiao Yeh, Bryan Russell, Josef Sivic, Fabian Caba Heilbron, Simon Jenni

cs.AI

Zusammenfassung

Großskalige Vision-Sprach-Modelle (VLM) haben beeindruckende Ergebnisse für sprachgesteuerte Suchanwendungen gezeigt. Während diese Modelle kategoriebasierte Abfragen ermöglichen, haben sie derzeit Schwierigkeiten mit personalisierten Suchen nach Momenten in einem Video, in denen eine spezifische Objektinstanz wie „Mein Hund Biscuit“ auftritt. Wir präsentieren die folgenden drei Beiträge, um dieses Problem zu adressieren. Erstens beschreiben wir eine Methode zur Meta-Personalisierung eines vortrainierten VLM, d. h. das Lernen, wie man ein VLM zur Laufzeit personalisiert, um in Videos zu suchen. Unsere Methode erweitert den Token-Wortschatz des VLM, indem sie neue Wort-Einbettungen lernt, die spezifisch für jede Instanz sind. Um nur instanzspezifische Merkmale zu erfassen, repräsentieren wir jede Instanz-Einbettung als eine Kombination aus gemeinsamen und gelernten globalen Kategoriemerkmalen. Zweitens schlagen wir vor, eine solche Personalisierung ohne explizite menschliche Überwachung zu erlernen. Unser Ansatz identifiziert automatisch Momente benannter visueller Instanzen in Videos mithilfe von Transkripten und der Vision-Sprach-Ähnlichkeit im Einbettungsraum des VLM. Schließlich führen wir This-Is-My, einen Benchmark für die personalisierte Videoinstanzsuche, ein. Wir evaluieren unseren Ansatz auf This-Is-My und DeepFashion2 und zeigen, dass wir eine relative Verbesserung von 15 % gegenüber dem Stand der Technik auf dem letzteren Datensatz erzielen.

English

Large-scale vision-language models (VLM) have shown impressive results for language-guided search applications. While these models allow category-level queries, they currently struggle with personalized searches for moments in a video where a specific object instance such as ``My dog Biscuit'' appears. We present the following three contributions to address this problem. First, we describe a method to meta-personalize a pre-trained VLM, i.e., learning how to learn to personalize a VLM at test time to search in video. Our method extends the VLM's token vocabulary by learning novel word embeddings specific to each instance. To capture only instance-specific features, we represent each instance embedding as a combination of shared and learned global category features. Second, we propose to learn such personalization without explicit human supervision. Our approach automatically identifies moments of named visual instances in video using transcripts and vision-language similarity in the VLM's embedding space. Finally, we introduce This-Is-My, a personal video instance retrieval benchmark. We evaluate our approach on This-Is-My and DeepFashion2 and show that we obtain a 15% relative improvement over the state of the art on the latter dataset.