Ref-AVS: オーディオビジュアルシーンにおける物体の参照とセグメンテーション

Ref-AVS: Refer and Segment Objects in Audio-Visual Scenes

July 15, 2024

著者: Yaoting Wang, Peiwen Sun, Dongzhan Zhou, Guangyao Li, Honggang Zhang, Di Hu

cs.AI

要旨

従来の参照セグメンテーションタスクは、主に無音の視覚シーンに焦点を当てており、人間の体験におけるマルチモーダル知覚と相互作用の重要な役割を軽視してきました。本研究では、マルチモーダルな手がかりを含む表現に基づいて視覚領域内のオブジェクトをセグメント化する新しいタスク「参照音声視覚セグメンテーション（Ref-AVS）」を提案します。このような表現は自然言語形式で記述されますが、音声や視覚的な記述を含むマルチモーダルな手がかりで強化されています。この研究を促進するために、対応するマルチモーダル手がかり表現で記述されたオブジェクトのピクセルレベルのアノテーションを提供する最初のRef-AVSベンチマークを構築しました。Ref-AVSタスクに取り組むために、マルチモーダルな手がかりを適切に活用して正確なセグメンテーションガイダンスを提供する新しい手法を提案します。最後に、3つのテストサブセットで定量的および定性的な実験を行い、関連タスクからの既存手法と比較します。結果は、マルチモーダル手がかり表現を使用してオブジェクトを正確にセグメント化する能力を強調し、本手法の有効性を実証しています。データセットはhttps://gewu-lab.github.io/Ref-AVS{https://gewu-lab.github.io/Ref-AVS}で公開されています。

English

Traditional reference segmentation tasks have predominantly focused on silent visual scenes, neglecting the integral role of multimodal perception and interaction in human experiences. In this work, we introduce a novel task called Reference Audio-Visual Segmentation (Ref-AVS), which seeks to segment objects within the visual domain based on expressions containing multimodal cues. Such expressions are articulated in natural language forms but are enriched with multimodal cues, including audio and visual descriptions. To facilitate this research, we construct the first Ref-AVS benchmark, which provides pixel-level annotations for objects described in corresponding multimodal-cue expressions. To tackle the Ref-AVS task, we propose a new method that adequately utilizes multimodal cues to offer precise segmentation guidance. Finally, we conduct quantitative and qualitative experiments on three test subsets to compare our approach with existing methods from related tasks. The results demonstrate the effectiveness of our method, highlighting its capability to precisely segment objects using multimodal-cue expressions. Dataset is available at https://gewu-lab.github.io/Ref-AVS{https://gewu-lab.github.io/Ref-AVS}.