Multimodale Referentiële Segmentatie: Een Overzicht

Multimodal Referring Segmentation: A Survey

August 1, 2025

Auteurs: Henghui Ding, Song Tang, Shuting He, Chang Liu, Zuxuan Wu, Yu-Gang Jiang

cs.AI

Samenvatting

Multimodale verwijzende segmentatie heeft als doel om doelobjecten in visuele scènes, zoals afbeeldingen, video's en 3D-scènes, te segmenteren op basis van verwijzende uitdrukkingen in tekst- of audioformaat. Deze taak speelt een cruciale rol in praktische toepassingen die nauwkeurige objectwaarneming vereisen op basis van gebruikersinstructies. In het afgelopen decennium heeft het aanzienlijke aandacht gekregen in de multimodale gemeenschap, aangewakkerd door vooruitgang in convolutionele neurale netwerken, transformers en grote taalmodelen, die allemaal de multimodale waarnemingscapaciteiten aanzienlijk hebben verbeterd. Dit artikel biedt een uitgebreid overzicht van multimodale verwijzende segmentatie. We beginnen met het introduceren van de achtergrond van dit veld, inclusief probleemdefinities en veelgebruikte datasets. Vervolgens vatten we een uniforme meta-architectuur voor verwijzende segmentatie samen en bespreken we representatieve methoden voor drie primaire visuele scènes, waaronder afbeeldingen, video's en 3D-scènes. We gaan verder in op Generalized Referring Expression (GREx)-methoden om de uitdagingen van complexiteit in de echte wereld aan te pakken, samen met gerelateerde taken en praktische toepassingen. Uitgebreide prestatievergelijkingen op standaardbenchmarks worden ook verstrekt. We blijven gerelateerde werken volgen op https://github.com/henghuiding/Awesome-Multimodal-Referring-Segmentation.

English

Multimodal referring segmentation aims to segment target objects in visual scenes, such as images, videos, and 3D scenes, based on referring expressions in text or audio format. This task plays a crucial role in practical applications requiring accurate object perception based on user instructions. Over the past decade, it has gained significant attention in the multimodal community, driven by advances in convolutional neural networks, transformers, and large language models, all of which have substantially improved multimodal perception capabilities. This paper provides a comprehensive survey of multimodal referring segmentation. We begin by introducing this field's background, including problem definitions and commonly used datasets. Next, we summarize a unified meta architecture for referring segmentation and review representative methods across three primary visual scenes, including images, videos, and 3D scenes. We further discuss Generalized Referring Expression (GREx) methods to address the challenges of real-world complexity, along with related tasks and practical applications. Extensive performance comparisons on standard benchmarks are also provided. We continually track related works at https://github.com/henghuiding/Awesome-Multimodal-Referring-Segmentation.