Ref-AVS: Referenciar e Segmentar Objetos em Cenas Áudio-Visuais

Ref-AVS: Refer and Segment Objects in Audio-Visual Scenes

July 15, 2024

Autores: Yaoting Wang, Peiwen Sun, Dongzhan Zhou, Guangyao Li, Honggang Zhang, Di Hu

cs.AI

Resumo

As tarefas tradicionais de segmentação de referência têm se concentrado predominantemente em cenas visuais silenciosas, negligenciando o papel integral da percepção e interação multimodal nas experiências humanas. Neste trabalho, introduzimos uma nova tarefa chamada Segmentação Audiovisual de Referência (Ref-AVS), que busca segmentar objetos dentro do domínio visual com base em expressões contendo pistas multimodais. Tais expressões são articuladas em formas de linguagem natural, mas são enriquecidas com pistas multimodais, incluindo descrições de áudio e visual. Para facilitar esta pesquisa, construímos o primeiro benchmark de Ref-AVS, que fornece anotações a nível de pixel para objetos descritos em expressões correspondentes de pistas multimodais. Para lidar com a tarefa de Ref-AVS, propomos um novo método que utiliza adequadamente pistas multimodais para oferecer orientação de segmentação precisa. Finalmente, realizamos experimentos quantitativos e qualitativos em três subconjuntos de teste para comparar nossa abordagem com métodos existentes de tarefas relacionadas. Os resultados demonstram a eficácia de nosso método, destacando sua capacidade de segmentar objetos com precisão usando expressões de pistas multimodais. O conjunto de dados está disponível em https://gewu-lab.github.io/Ref-AVS{https://gewu-lab.github.io/Ref-AVS}.

English

Traditional reference segmentation tasks have predominantly focused on silent visual scenes, neglecting the integral role of multimodal perception and interaction in human experiences. In this work, we introduce a novel task called Reference Audio-Visual Segmentation (Ref-AVS), which seeks to segment objects within the visual domain based on expressions containing multimodal cues. Such expressions are articulated in natural language forms but are enriched with multimodal cues, including audio and visual descriptions. To facilitate this research, we construct the first Ref-AVS benchmark, which provides pixel-level annotations for objects described in corresponding multimodal-cue expressions. To tackle the Ref-AVS task, we propose a new method that adequately utilizes multimodal cues to offer precise segmentation guidance. Finally, we conduct quantitative and qualitative experiments on three test subsets to compare our approach with existing methods from related tasks. The results demonstrate the effectiveness of our method, highlighting its capability to precisely segment objects using multimodal-cue expressions. Dataset is available at https://gewu-lab.github.io/Ref-AVS{https://gewu-lab.github.io/Ref-AVS}.