Separando o "Chirp" do "Chat": Fundamentação Visual Autossupervisionada de Som e Linguagem

Separating the "Chirp" from the "Chat": Self-supervised Visual Grounding of Sound and Language

June 9, 2024

Autores: Mark Hamilton, Andrew Zisserman, John R. Hershey, William T. Freeman

cs.AI

Resumo

Apresentamos o DenseAV, uma nova arquitetura de codificação dupla que aprende recursos de alta resolução, semanticamente significativos e alinhados audiovisualmente apenas através da observação de vídeos. Demonstramos que o DenseAV pode descobrir o "significado" das palavras e a "localização" dos sons sem supervisão explícita de localização. Além disso, ele automaticamente descobre e distingue entre esses dois tipos de associações sem supervisão. Mostramos que as habilidades de localização do DenseAV surgem de um novo operador de agregação de recursos multi-head que compara diretamente representações densas de imagem e áudio para aprendizado contrastivo. Em contraste, muitos outros sistemas que aprendem representações "globais" de áudio e vídeo não conseguem localizar palavras e sons. Por fim, contribuímos com dois novos conjuntos de dados para melhorar a avaliação de representações audiovisuais por meio de segmentação semântica induzida por fala e som. Nesses e em outros conjuntos de dados, mostramos que o DenseAV supera significativamente o estado da arte anterior em segmentação semântica induzida por fala e som. O DenseAV supera o estado da arte anterior, o ImageBind, em recuperação cruzada de modalidades usando menos da metade dos parâmetros. Página do Projeto: https://aka.ms/denseav{https://aka.ms/denseav}

English

We present DenseAV, a novel dual encoder grounding architecture that learns high-resolution, semantically meaningful, and audio-visually aligned features solely through watching videos. We show that DenseAV can discover the ``meaning'' of words and the ``location'' of sounds without explicit localization supervision. Furthermore, it automatically discovers and distinguishes between these two types of associations without supervision. We show that DenseAV's localization abilities arise from a new multi-head feature aggregation operator that directly compares dense image and audio representations for contrastive learning. In contrast, many other systems that learn ``global'' audio and video representations cannot localize words and sound. Finally, we contribute two new datasets to improve the evaluation of AV representations through speech and sound prompted semantic segmentation. On these and other datasets we show DenseAV dramatically outperforms the prior art on speech and sound prompted semantic segmentation. DenseAV outperforms the previous state-of-the-art, ImageBind, on cross-modal retrieval using fewer than half of the parameters. Project Page: https://aka.ms/denseav{https://aka.ms/denseav}