Meta-Personalização de Modelos Visão-Linguagem para Encontrar Instâncias Nomeadas em Vídeo

Meta-Personalizing Vision-Language Models to Find Named Instances in Video

June 16, 2023

Autores: Chun-Hsiao Yeh, Bryan Russell, Josef Sivic, Fabian Caba Heilbron, Simon Jenni

cs.AI

Resumo

Modelos de visão e linguagem em grande escala (VLM) têm demonstrado resultados impressionantes em aplicações de busca guiada por linguagem. Embora esses modelos permitam consultas em nível de categoria, eles atualmente enfrentam dificuldades com buscas personalizadas por momentos em um vídeo onde uma instância específica de objeto, como "Meu cachorro Biscoito", aparece. Apresentamos três contribuições para abordar esse problema. Primeiro, descrevemos um método para meta-personalizar um VLM pré-treinado, ou seja, aprender como personalizar um VLM em tempo de teste para buscar em vídeos. Nosso método estende o vocabulário de tokens do VLM ao aprender novos embeddings de palavras específicos para cada instância. Para capturar apenas características específicas da instância, representamos cada embedding de instância como uma combinação de características globais compartilhadas e aprendidas da categoria. Segundo, propomos aprender essa personalização sem supervisão humana explícita. Nossa abordagem identifica automaticamente momentos de instâncias visuais nomeadas em vídeos usando transcrições e similaridade visão-linguagem no espaço de embedding do VLM. Por fim, introduzimos o This-Is-My, um benchmark de recuperação de instâncias de vídeo personalizadas. Avaliamos nossa abordagem no This-Is-My e no DeepFashion2, mostrando uma melhoria relativa de 15% em relação ao estado da arte no último conjunto de dados.

English

Large-scale vision-language models (VLM) have shown impressive results for language-guided search applications. While these models allow category-level queries, they currently struggle with personalized searches for moments in a video where a specific object instance such as ``My dog Biscuit'' appears. We present the following three contributions to address this problem. First, we describe a method to meta-personalize a pre-trained VLM, i.e., learning how to learn to personalize a VLM at test time to search in video. Our method extends the VLM's token vocabulary by learning novel word embeddings specific to each instance. To capture only instance-specific features, we represent each instance embedding as a combination of shared and learned global category features. Second, we propose to learn such personalization without explicit human supervision. Our approach automatically identifies moments of named visual instances in video using transcripts and vision-language similarity in the VLM's embedding space. Finally, we introduce This-Is-My, a personal video instance retrieval benchmark. We evaluate our approach on This-Is-My and DeepFashion2 and show that we obtain a 15% relative improvement over the state of the art on the latter dataset.