マルチモーダル参照セグメンテーション：サーベイ

要旨

マルチモーダル参照セグメンテーションは、テキストまたは音声形式の参照表現に基づいて、画像、動画、3Dシーンなどの視覚シーン内のターゲットオブジェクトをセグメント化することを目的としています。このタスクは、ユーザーの指示に基づいた正確な物体認識を必要とする実用的なアプリケーションにおいて重要な役割を果たします。過去10年間、畳み込みニューラルネットワーク、トランスフォーマー、大規模言語モデルの進歩に後押しされ、マルチモーダル認識能力が大幅に向上したことで、この分野はマルチモーダルコミュニティにおいて大きな注目を集めてきました。本論文では、マルチモーダル参照セグメンテーションに関する包括的な調査を提供します。まず、この分野の背景、問題定義、および一般的に使用されるデータセットを紹介します。次に、参照セグメンテーションのための統一されたメタアーキテクチャを要約し、画像、動画、3Dシーンという3つの主要な視覚シーンにおける代表的な手法をレビューします。さらに、現実世界の複雑さに対処するための一般化参照表現（GREx）手法や、関連タスクおよび実用的なアプリケーションについて議論します。標準ベンチマークにおける広範な性能比較も提供します。関連する研究はhttps://github.com/henghuiding/Awesome-Multimodal-Referring-Segmentationで継続的に追跡しています。

English

Multimodal referring segmentation aims to segment target objects in visual scenes, such as images, videos, and 3D scenes, based on referring expressions in text or audio format. This task plays a crucial role in practical applications requiring accurate object perception based on user instructions. Over the past decade, it has gained significant attention in the multimodal community, driven by advances in convolutional neural networks, transformers, and large language models, all of which have substantially improved multimodal perception capabilities. This paper provides a comprehensive survey of multimodal referring segmentation. We begin by introducing this field's background, including problem definitions and commonly used datasets. Next, we summarize a unified meta architecture for referring segmentation and review representative methods across three primary visual scenes, including images, videos, and 3D scenes. We further discuss Generalized Referring Expression (GREx) methods to address the challenges of real-world complexity, along with related tasks and practical applications. Extensive performance comparisons on standard benchmarks are also provided. We continually track related works at https://github.com/henghuiding/Awesome-Multimodal-Referring-Segmentation.

マルチモーダル参照セグメンテーション：サーベイ

Multimodal Referring Segmentation: A Survey

要旨

Support