Die Trennung des "Chirps" vom "Chat": Selbstüberwachte visuelle Verankerung von Ton und Sprache.

Separating the "Chirp" from the "Chat": Self-supervised Visual Grounding of Sound and Language

June 9, 2024

papers.authors: Mark Hamilton, Andrew Zisserman, John R. Hershey, William T. Freeman

cs.AI

papers.abstract

Wir präsentieren DenseAV, eine neuartige duale Encoder-Grundlagenarchitektur, die hochauflösende, semantisch sinnvolle und audiovisuell ausgerichtete Merkmale ausschließlich durch das Ansehen von Videos lernt. Wir zeigen, dass DenseAV die "Bedeutung" von Wörtern und die "Position" von Geräuschen ohne explizite Lokalisierungsüberwachung entdecken kann. Darüber hinaus entdeckt und unterscheidet es automatisch zwischen diesen beiden Arten von Assoziationen ohne Überwachung. Wir zeigen, dass die Lokalisierungsfähigkeiten von DenseAV aus einem neuen Multi-Head-Merkmalsaggregationsoperator resultieren, der dichte Bild- und Audio-Repräsentationen direkt für kontrastives Lernen vergleicht. Im Gegensatz dazu können viele andere Systeme, die "globale" Audio- und Video-Repräsentationen lernen, Wörter und Geräusche nicht lokalisieren. Schließlich tragen wir mit zwei neuen Datensätzen zur Verbesserung der Bewertung von AV-Repräsentationen durch sprach- und geräuschgesteuerte semantische Segmentierung bei. Anhand dieser und anderer Datensätze zeigen wir, dass DenseAV die bisherige Kunst bei der sprach- und geräuschgesteuerten semantischen Segmentierung dramatisch übertrifft. DenseAV übertrifft den bisherigen Stand der Technik, ImageBind, bei der Cross-Modal-Retrieval unter Verwendung von weniger als der Hälfte der Parameter. Projektseite: https://aka.ms/denseav {https://aka.ms/denseav}

English

We present DenseAV, a novel dual encoder grounding architecture that learns high-resolution, semantically meaningful, and audio-visually aligned features solely through watching videos. We show that DenseAV can discover the ``meaning'' of words and the ``location'' of sounds without explicit localization supervision. Furthermore, it automatically discovers and distinguishes between these two types of associations without supervision. We show that DenseAV's localization abilities arise from a new multi-head feature aggregation operator that directly compares dense image and audio representations for contrastive learning. In contrast, many other systems that learn ``global'' audio and video representations cannot localize words and sound. Finally, we contribute two new datasets to improve the evaluation of AV representations through speech and sound prompted semantic segmentation. On these and other datasets we show DenseAV dramatically outperforms the prior art on speech and sound prompted semantic segmentation. DenseAV outperforms the previous state-of-the-art, ImageBind, on cross-modal retrieval using fewer than half of the parameters. Project Page: https://aka.ms/denseav{https://aka.ms/denseav}