Ref-AVS : Référencer et segmenter des objets dans des scènes audio-visuelles

Ref-AVS: Refer and Segment Objects in Audio-Visual Scenes

July 15, 2024

Auteurs: Yaoting Wang, Peiwen Sun, Dongzhan Zhou, Guangyao Li, Honggang Zhang, Di Hu

cs.AI

Résumé

Les tâches traditionnelles de segmentation de référence se sont principalement concentrées sur des scènes visuelles silencieuses, négligeant le rôle essentiel de la perception et de l'interaction multimodales dans les expériences humaines. Dans ce travail, nous introduisons une nouvelle tâche appelée Segmentation Audio-Visuelle de Référence (Ref-AVS), qui vise à segmenter des objets dans le domaine visuel en se basant sur des expressions contenant des indices multimodaux. Ces expressions sont formulées sous forme de langage naturel mais sont enrichies d'indices multimodaux, incluant des descriptions audio et visuelles. Pour faciliter cette recherche, nous construisons le premier benchmark Ref-AVS, qui fournit des annotations au niveau des pixels pour les objets décrits dans les expressions correspondantes contenant des indices multimodaux. Pour aborder la tâche Ref-AVS, nous proposons une nouvelle méthode qui utilise adéquatement les indices multimodaux pour offrir une guidance de segmentation précise. Enfin, nous menons des expériences quantitatives et qualitatives sur trois sous-ensembles de test pour comparer notre approche avec les méthodes existantes issues de tâches connexes. Les résultats démontrent l'efficacité de notre méthode, mettant en avant sa capacité à segmenter précisément des objets en utilisant des expressions contenant des indices multimodaux. Le jeu de données est disponible à l'adresse suivante : https://gewu-lab.github.io/Ref-AVS{https://gewu-lab.github.io/Ref-AVS}.

English

Traditional reference segmentation tasks have predominantly focused on silent visual scenes, neglecting the integral role of multimodal perception and interaction in human experiences. In this work, we introduce a novel task called Reference Audio-Visual Segmentation (Ref-AVS), which seeks to segment objects within the visual domain based on expressions containing multimodal cues. Such expressions are articulated in natural language forms but are enriched with multimodal cues, including audio and visual descriptions. To facilitate this research, we construct the first Ref-AVS benchmark, which provides pixel-level annotations for objects described in corresponding multimodal-cue expressions. To tackle the Ref-AVS task, we propose a new method that adequately utilizes multimodal cues to offer precise segmentation guidance. Finally, we conduct quantitative and qualitative experiments on three test subsets to compare our approach with existing methods from related tasks. The results demonstrate the effectiveness of our method, highlighting its capability to precisely segment objects using multimodal-cue expressions. Dataset is available at https://gewu-lab.github.io/Ref-AVS{https://gewu-lab.github.io/Ref-AVS}.