Ref-AVS: Objekte in Audio-Visuellen Szenen referenzieren und segmentieren

Ref-AVS: Refer and Segment Objects in Audio-Visual Scenes

July 15, 2024

Autoren: Yaoting Wang, Peiwen Sun, Dongzhan Zhou, Guangyao Li, Honggang Zhang, Di Hu

cs.AI

Zusammenfassung

Traditionelle Referenzsegmentierungsaufgaben haben hauptsächlich stille visuelle Szenen in den Fokus gerückt und die integrale Rolle der multimodalen Wahrnehmung und Interaktion in menschlichen Erfahrungen vernachlässigt. In dieser Arbeit führen wir eine neue Aufgabe namens Referenz Audio-Visuelle Segmentierung (Ref-AVS) ein, die darauf abzielt, Objekte im visuellen Bereich auf der Grundlage von Ausdrücken mit multimodalen Hinweisen zu segmentieren. Solche Ausdrücke werden in natürlichen Sprachformen formuliert, sind jedoch mit multimodalen Hinweisen, einschließlich Audio- und visuellen Beschreibungen, angereichert. Um diese Forschung zu unterstützen, erstellen wir den ersten Ref-AVS-Benchmark, der Pixel-Ebene Annotationen für in entsprechenden multimodalen Hinweisausdrücken beschriebene Objekte bereitstellt. Um die Ref-AVS-Aufgabe anzugehen, schlagen wir eine neue Methode vor, die multimodale Hinweise angemessen nutzt, um präzise Segmentierungsanleitungen anzubieten. Abschließend führen wir quantitative und qualitative Experimente an drei Testteilmengen durch, um unseren Ansatz mit bestehenden Methoden aus verwandten Aufgaben zu vergleichen. Die Ergebnisse zeigen die Wirksamkeit unserer Methode auf und heben ihre Fähigkeit hervor, Objekte präzise mithilfe von multimodalen Hinweisausdrücken zu segmentieren. Der Datensatz ist verfügbar unter https://gewu-lab.github.io/Ref-AVS.

English

Traditional reference segmentation tasks have predominantly focused on silent visual scenes, neglecting the integral role of multimodal perception and interaction in human experiences. In this work, we introduce a novel task called Reference Audio-Visual Segmentation (Ref-AVS), which seeks to segment objects within the visual domain based on expressions containing multimodal cues. Such expressions are articulated in natural language forms but are enriched with multimodal cues, including audio and visual descriptions. To facilitate this research, we construct the first Ref-AVS benchmark, which provides pixel-level annotations for objects described in corresponding multimodal-cue expressions. To tackle the Ref-AVS task, we propose a new method that adequately utilizes multimodal cues to offer precise segmentation guidance. Finally, we conduct quantitative and qualitative experiments on three test subsets to compare our approach with existing methods from related tasks. The results demonstrate the effectiveness of our method, highlighting its capability to precisely segment objects using multimodal-cue expressions. Dataset is available at https://gewu-lab.github.io/Ref-AVS{https://gewu-lab.github.io/Ref-AVS}.