Разделение "Chirp" от "Chat": Самонадзорное визуальное закрепление звука и языка

Separating the "Chirp" from the "Chat": Self-supervised Visual Grounding of Sound and Language

June 9, 2024

Авторы: Mark Hamilton, Andrew Zisserman, John R. Hershey, William T. Freeman

cs.AI

Аннотация

Мы представляем DenseAV, новую архитектуру с двойным кодировщиком, которая изучает высокоразрешенные, семантически значимые и аудиовизуально выровненные функции исключительно путем просмотра видеороликов. Мы показываем, что DenseAV способен обнаруживать "значение" слов и "местоположение" звуков без явного обучения локализации. Более того, он автоматически обнаруживает и различает эти два типа ассоциаций без обучения. Мы показываем, что способности DenseAV к локализации возникают благодаря новому оператору агрегации функций с множеством головок, который непосредственно сравнивает плотные изображения и аудиопредставления для контрастного обучения. В отличие от многих других систем, которые изучают "глобальные" аудио- и видеопредставления, DenseAV не может локализовать слова и звуки. Наконец, мы представляем два новых набора данных для улучшения оценки AV-представлений через семантическую сегментацию, стимулируемую речью и звуком. На этих и других наборах данных мы показываем, что DenseAV значительно превосходит существующие достижения в сегментации, стимулируемой речью и звуком. DenseAV превосходит предыдущий лучший метод, ImageBind, в кросс-модальном поиске с использованием менее половины параметров. Страница проекта: https://aka.ms/denseav {https://aka.ms/denseav}

English

We present DenseAV, a novel dual encoder grounding architecture that learns high-resolution, semantically meaningful, and audio-visually aligned features solely through watching videos. We show that DenseAV can discover the ``meaning'' of words and the ``location'' of sounds without explicit localization supervision. Furthermore, it automatically discovers and distinguishes between these two types of associations without supervision. We show that DenseAV's localization abilities arise from a new multi-head feature aggregation operator that directly compares dense image and audio representations for contrastive learning. In contrast, many other systems that learn ``global'' audio and video representations cannot localize words and sound. Finally, we contribute two new datasets to improve the evaluation of AV representations through speech and sound prompted semantic segmentation. On these and other datasets we show DenseAV dramatically outperforms the prior art on speech and sound prompted semantic segmentation. DenseAV outperforms the previous state-of-the-art, ImageBind, on cross-modal retrieval using fewer than half of the parameters. Project Page: https://aka.ms/denseav{https://aka.ms/denseav}