Ref-AVS: Riferimento e Segmentazione di Oggetti in Scene Audio-Visive

Ref-AVS: Refer and Segment Objects in Audio-Visual Scenes

July 15, 2024

Autori: Yaoting Wang, Peiwen Sun, Dongzhan Zhou, Guangyao Li, Honggang Zhang, Di Hu

cs.AI

Abstract

I tradizionali compiti di segmentazione di riferimento si sono concentrati prevalentemente su scene visive silenziose, trascurando il ruolo integrale della percezione e dell'interazione multimodale nelle esperienze umane. In questo lavoro, introduciamo un nuovo compito chiamato Segmentazione Audio-Visuale di Riferimento (Ref-AVS), che mira a segmentare oggetti nel dominio visivo basandosi su espressioni contenenti segnali multimodali. Tali espressioni sono articolate in forme di linguaggio naturale ma sono arricchite con segnali multimodali, inclusi descrizioni audio e visive. Per facilitare questa ricerca, costruiamo il primo benchmark Ref-AVS, che fornisce annotazioni a livello di pixel per gli oggetti descritti nelle corrispondenti espressioni con segnali multimodali. Per affrontare il compito Ref-AVS, proponiamo un nuovo metodo che utilizza adeguatamente i segnali multimodali per offrire una guida precisa alla segmentazione. Infine, conduciamo esperimenti quantitativi e qualitativi su tre sottoinsiemi di test per confrontare il nostro approccio con i metodi esistenti provenienti da compiti correlati. I risultati dimostrano l'efficacia del nostro metodo, evidenziando la sua capacità di segmentare con precisione gli oggetti utilizzando espressioni con segnali multimodali. Il dataset è disponibile all'indirizzo https://gewu-lab.github.io/Ref-AVS{https://gewu-lab.github.io/Ref-AVS}.

English

Traditional reference segmentation tasks have predominantly focused on silent visual scenes, neglecting the integral role of multimodal perception and interaction in human experiences. In this work, we introduce a novel task called Reference Audio-Visual Segmentation (Ref-AVS), which seeks to segment objects within the visual domain based on expressions containing multimodal cues. Such expressions are articulated in natural language forms but are enriched with multimodal cues, including audio and visual descriptions. To facilitate this research, we construct the first Ref-AVS benchmark, which provides pixel-level annotations for objects described in corresponding multimodal-cue expressions. To tackle the Ref-AVS task, we propose a new method that adequately utilizes multimodal cues to offer precise segmentation guidance. Finally, we conduct quantitative and qualitative experiments on three test subsets to compare our approach with existing methods from related tasks. The results demonstrate the effectiveness of our method, highlighting its capability to precisely segment objects using multimodal-cue expressions. Dataset is available at https://gewu-lab.github.io/Ref-AVS{https://gewu-lab.github.io/Ref-AVS}.