Метаперсонализация моделей "визуальный язык" для поиска именованных экземпляров в видео

Meta-Personalizing Vision-Language Models to Find Named Instances in Video

June 16, 2023

Авторы: Chun-Hsiao Yeh, Bryan Russell, Josef Sivic, Fabian Caba Heilbron, Simon Jenni

cs.AI

Аннотация

Крупномасштабные модели, объединяющие зрение и язык (VLM), демонстрируют впечатляющие результаты в задачах поиска, управляемого языком. Хотя эти модели позволяют выполнять запросы на уровне категорий, они пока испытывают трудности с персонализированным поиском моментов в видео, где появляется конкретный объект, например, «Моя собака Бисквит». Мы представляем три ключевых вклада для решения этой проблемы. Во-первых, мы описываем метод мета-персонализации предварительно обученной VLM, то есть обучение тому, как персонализировать VLM во время тестирования для поиска в видео. Наш метод расширяет словарный запас токенов VLM, обучая новые встраивания слов, специфичные для каждого объекта. Чтобы учитывать только характеристики, уникальные для объекта, мы представляем каждое встраивание объекта как комбинацию общих и изученных глобальных признаков категории. Во-вторых, мы предлагаем обучать такую персонализацию без явного человеческого контроля. Наш подход автоматически идентифицирует моменты появления именованных визуальных объектов в видео, используя транскрипты и сходство между зрением и языком в пространстве встраиваний VLM. Наконец, мы представляем бенчмарк This-Is-My для персонализированного поиска объектов в видео. Мы оцениваем наш подход на This-Is-My и DeepFashion2, показывая относительное улучшение на 15% по сравнению с современными методами на последнем наборе данных.

English

Large-scale vision-language models (VLM) have shown impressive results for language-guided search applications. While these models allow category-level queries, they currently struggle with personalized searches for moments in a video where a specific object instance such as ``My dog Biscuit'' appears. We present the following three contributions to address this problem. First, we describe a method to meta-personalize a pre-trained VLM, i.e., learning how to learn to personalize a VLM at test time to search in video. Our method extends the VLM's token vocabulary by learning novel word embeddings specific to each instance. To capture only instance-specific features, we represent each instance embedding as a combination of shared and learned global category features. Second, we propose to learn such personalization without explicit human supervision. Our approach automatically identifies moments of named visual instances in video using transcripts and vision-language similarity in the VLM's embedding space. Finally, we introduce This-Is-My, a personal video instance retrieval benchmark. We evaluate our approach on This-Is-My and DeepFashion2 and show that we obtain a 15% relative improvement over the state of the art on the latter dataset.