Ref-AVS: Ссылка и сегментация объектов в аудиовизуальных сценах

Ref-AVS: Refer and Segment Objects in Audio-Visual Scenes

July 15, 2024

Авторы: Yaoting Wang, Peiwen Sun, Dongzhan Zhou, Guangyao Li, Honggang Zhang, Di Hu

cs.AI

Аннотация

Традиционные задачи сегментации по ссылке в основном сосредоточены на тихих визуальных сценах, игнорируя важную роль мультимодального восприятия и взаимодействия в человеческом опыте. В данной работе мы представляем новую задачу, называемую Сегментация по ссылке аудиовизуальных данных (Ref-AVS), которая направлена на сегментацию объектов в визуальной области на основе выражений, содержащих мультимодальные подсказки. Такие выражения формулируются на естественных языках, но обогащены мультимодальными подсказками, включая аудио- и визуальные описания. Для упрощения этого исследования мы создаем первый бенчмарк Ref-AVS, который предоставляет аннотации на уровне пикселей для объектов, описанных в соответствующих мультимодальных выражениях. Для решения задачи Ref-AVS мы предлагаем новый метод, который должным образом использует мультимодальные подсказки для точного руководства сегментацией. Наконец, мы проводим количественные и качественные эксперименты на трех тестовых подмножествах для сравнения нашего подхода с существующими методами из смежных задач. Результаты демонстрируют эффективность нашего метода, подчеркивая его способность точно сегментировать объекты с использованием мультимодальных подсказок. Набор данных доступен по ссылке https://gewu-lab.github.io/Ref-AVS.

English

Traditional reference segmentation tasks have predominantly focused on silent visual scenes, neglecting the integral role of multimodal perception and interaction in human experiences. In this work, we introduce a novel task called Reference Audio-Visual Segmentation (Ref-AVS), which seeks to segment objects within the visual domain based on expressions containing multimodal cues. Such expressions are articulated in natural language forms but are enriched with multimodal cues, including audio and visual descriptions. To facilitate this research, we construct the first Ref-AVS benchmark, which provides pixel-level annotations for objects described in corresponding multimodal-cue expressions. To tackle the Ref-AVS task, we propose a new method that adequately utilizes multimodal cues to offer precise segmentation guidance. Finally, we conduct quantitative and qualitative experiments on three test subsets to compare our approach with existing methods from related tasks. The results demonstrate the effectiveness of our method, highlighting its capability to precisely segment objects using multimodal-cue expressions. Dataset is available at https://gewu-lab.github.io/Ref-AVS{https://gewu-lab.github.io/Ref-AVS}.