Separando el "Chirrido" del "Chat": Fundamentación Visual Autosupervisada de Sonido y Lenguaje

Separating the "Chirp" from the "Chat": Self-supervised Visual Grounding of Sound and Language

June 9, 2024

Autores: Mark Hamilton, Andrew Zisserman, John R. Hershey, William T. Freeman

cs.AI

Resumen

Presentamos DenseAV, una novedosa arquitectura de anclaje con codificador dual que aprende características de alta resolución, semánticamente significativas y alineadas audio-visualmente únicamente mediante la observación de videos. Demostramos que DenseAV puede descubrir el "significado" de las palabras y la "ubicación" de los sonidos sin supervisión explícita de localización. Además, descubre y distingue automáticamente entre estos dos tipos de asociaciones sin supervisión. Mostramos que las capacidades de localización de DenseAV surgen de un nuevo operador de agregación de características multi-cabeza que compara directamente representaciones densas de imagen y audio para el aprendizaje contrastivo. En contraste, muchos otros sistemas que aprenden representaciones "globales" de audio y video no pueden localizar palabras ni sonidos. Finalmente, contribuimos con dos nuevos conjuntos de datos para mejorar la evaluación de representaciones AV mediante segmentación semántica impulsada por voz y sonido. En estos y otros conjuntos de datos, demostramos que DenseAV supera ampliamente el estado del arte en segmentación semántica impulsada por voz y sonido. DenseAV supera al anterior estado del arte, ImageBind, en recuperación multimodal utilizando menos de la mitad de los parámetros. Página del proyecto: https://aka.ms/denseav{https://aka.ms/denseav}

English

We present DenseAV, a novel dual encoder grounding architecture that learns high-resolution, semantically meaningful, and audio-visually aligned features solely through watching videos. We show that DenseAV can discover the ``meaning'' of words and the ``location'' of sounds without explicit localization supervision. Furthermore, it automatically discovers and distinguishes between these two types of associations without supervision. We show that DenseAV's localization abilities arise from a new multi-head feature aggregation operator that directly compares dense image and audio representations for contrastive learning. In contrast, many other systems that learn ``global'' audio and video representations cannot localize words and sound. Finally, we contribute two new datasets to improve the evaluation of AV representations through speech and sound prompted semantic segmentation. On these and other datasets we show DenseAV dramatically outperforms the prior art on speech and sound prompted semantic segmentation. DenseAV outperforms the previous state-of-the-art, ImageBind, on cross-modal retrieval using fewer than half of the parameters. Project Page: https://aka.ms/denseav{https://aka.ms/denseav}