Het "Chirp" scheiden van het "Chat": Zelfgesuperviseerde visuele verankering van geluid en taal

Separating the "Chirp" from the "Chat": Self-supervised Visual Grounding of Sound and Language

June 9, 2024

Auteurs: Mark Hamilton, Andrew Zisserman, John R. Hershey, William T. Freeman

cs.AI

Samenvatting

We presenteren DenseAV, een innovatieve dual encoder grounding-architectuur die hoogresolutie, semantisch betekenisvolle en audio-visueel uitgelijnde kenmerken leert door uitsluitend video's te bekijken. We tonen aan dat DenseAV de "betekenis" van woorden en de "locatie" van geluiden kan ontdekken zonder expliciete localisatiesupervisie. Bovendien ontdekt en onderscheidt het automatisch tussen deze twee soorten associaties zonder supervisie. We laten zien dat de localisatievaardigheden van DenseAV voortkomen uit een nieuwe multi-head kenmerkaggregatie-operator die dichte beeld- en audio-representaties direct vergelijkt voor contrastief leren. Daarentegen kunnen veel andere systemen die "globale" audio- en videorepresentaties leren, woorden en geluiden niet lokaliseren. Ten slotte dragen we twee nieuwe datasets bij om de evaluatie van AV-representaties te verbeteren door middel van spraak- en geluidsgeprompte semantische segmentatie. Op deze en andere datasets tonen we aan dat DenseAV de state-of-the-art aanzienlijk overtreft op het gebied van spraak- en geluidsgeprompte semantische segmentatie. DenseAV overtreft de vorige state-of-the-art, ImageBind, bij cross-modale retrieval met minder dan de helft van de parameters. Projectpagina: https://aka.ms/denseav{https://aka.ms/denseav}

English

We present DenseAV, a novel dual encoder grounding architecture that learns high-resolution, semantically meaningful, and audio-visually aligned features solely through watching videos. We show that DenseAV can discover the ``meaning'' of words and the ``location'' of sounds without explicit localization supervision. Furthermore, it automatically discovers and distinguishes between these two types of associations without supervision. We show that DenseAV's localization abilities arise from a new multi-head feature aggregation operator that directly compares dense image and audio representations for contrastive learning. In contrast, many other systems that learn ``global'' audio and video representations cannot localize words and sound. Finally, we contribute two new datasets to improve the evaluation of AV representations through speech and sound prompted semantic segmentation. On these and other datasets we show DenseAV dramatically outperforms the prior art on speech and sound prompted semantic segmentation. DenseAV outperforms the previous state-of-the-art, ImageBind, on cross-modal retrieval using fewer than half of the parameters. Project Page: https://aka.ms/denseav{https://aka.ms/denseav}