Séparer le "Gazouillis" du "Bavardage" : Ancrage visuel auto-supervisé du son et du langage

Separating the "Chirp" from the "Chat": Self-supervised Visual Grounding of Sound and Language

June 9, 2024

Auteurs: Mark Hamilton, Andrew Zisserman, John R. Hershey, William T. Freeman

cs.AI

Résumé

Nous présentons DenseAV, une nouvelle architecture d'encodage dual qui apprend des caractéristiques à haute résolution, sémantiquement significatives et alignées audio-visuellement uniquement en visionnant des vidéos. Nous démontrons que DenseAV peut découvrir la « signification » des mots et la « localisation » des sons sans supervision explicite de localisation. De plus, il découvre et distingue automatiquement entre ces deux types d'associations sans supervision. Nous montrons que les capacités de localisation de DenseAV découlent d'un nouvel opérateur d'agrégation de caractéristiques multi-têtes qui compare directement les représentations denses d'images et d'audio pour l'apprentissage contrastif. En revanche, de nombreux autres systèmes qui apprennent des représentations « globales » de l'audio et de la vidéo ne peuvent pas localiser les mots et les sons. Enfin, nous contribuons deux nouveaux jeux de données pour améliorer l'évaluation des représentations audio-visuelles à travers la segmentation sémantique guidée par la parole et le son. Sur ces jeux de données et d'autres, nous montrons que DenseAV surpasse de manière significative l'état de l'art précédent en matière de segmentation sémantique guidée par la parole et le son. DenseAV surpasse l'état de l'art précédent, ImageBind, en récupération cross-modale en utilisant moins de la moitié des paramètres. Page du projet : https://aka.ms/denseav{https://aka.ms/denseav}

English

We present DenseAV, a novel dual encoder grounding architecture that learns high-resolution, semantically meaningful, and audio-visually aligned features solely through watching videos. We show that DenseAV can discover the ``meaning'' of words and the ``location'' of sounds without explicit localization supervision. Furthermore, it automatically discovers and distinguishes between these two types of associations without supervision. We show that DenseAV's localization abilities arise from a new multi-head feature aggregation operator that directly compares dense image and audio representations for contrastive learning. In contrast, many other systems that learn ``global'' audio and video representations cannot localize words and sound. Finally, we contribute two new datasets to improve the evaluation of AV representations through speech and sound prompted semantic segmentation. On these and other datasets we show DenseAV dramatically outperforms the prior art on speech and sound prompted semantic segmentation. DenseAV outperforms the previous state-of-the-art, ImageBind, on cross-modal retrieval using fewer than half of the parameters. Project Page: https://aka.ms/denseav{https://aka.ms/denseav}