Multimodale Referenzsegmentierung: Ein Überblick

Multimodal Referring Segmentation: A Survey

August 1, 2025

papers.authors: Henghui Ding, Song Tang, Shuting He, Chang Liu, Zuxuan Wu, Yu-Gang Jiang

cs.AI

papers.abstract

Multimodale Referenzsegmentierung zielt darauf ab, Zielobjekte in visuellen Szenen, wie Bildern, Videos und 3D-Szenen, basierend auf Referenzausdrücken in Text- oder Audioform zu segmentieren. Diese Aufgabe spielt eine entscheidende Rolle in praktischen Anwendungen, die eine präzise Objekterkennung basierend auf Benutzeranweisungen erfordern. Im letzten Jahrzehnt hat sie in der multimodalen Gemeinschaft erhebliche Aufmerksamkeit erlangt, angetrieben durch Fortschritte in konvolutionalen neuronalen Netzen, Transformern und großen Sprachmodellen, die alle die multimodalen Wahrnehmungsfähigkeiten erheblich verbessert haben. Dieser Artikel bietet einen umfassenden Überblick über die multimodale Referenzsegmentierung. Wir beginnen mit der Einführung in den Hintergrund dieses Feldes, einschließlich Problemdefinitionen und häufig verwendeter Datensätze. Anschließend fassen wir eine einheitliche Meta-Architektur für die Referenzsegmentierung zusammen und überprüfen repräsentative Methoden in drei primären visuellen Szenen, darunter Bilder, Videos und 3D-Szenen. Wir diskutieren weiterhin Methoden zur Generalisierten Referenzausdruck (GREx), um die Herausforderungen der realen Komplexität zu bewältigen, sowie verwandte Aufgaben und praktische Anwendungen. Umfangreiche Leistungsvergleiche auf Standard-Benchmarks werden ebenfalls bereitgestellt. Wir verfolgen kontinuierlich verwandte Arbeiten unter https://github.com/henghuiding/Awesome-Multimodal-Referring-Segmentation.

English

Multimodal referring segmentation aims to segment target objects in visual scenes, such as images, videos, and 3D scenes, based on referring expressions in text or audio format. This task plays a crucial role in practical applications requiring accurate object perception based on user instructions. Over the past decade, it has gained significant attention in the multimodal community, driven by advances in convolutional neural networks, transformers, and large language models, all of which have substantially improved multimodal perception capabilities. This paper provides a comprehensive survey of multimodal referring segmentation. We begin by introducing this field's background, including problem definitions and commonly used datasets. Next, we summarize a unified meta architecture for referring segmentation and review representative methods across three primary visual scenes, including images, videos, and 3D scenes. We further discuss Generalized Referring Expression (GREx) methods to address the challenges of real-world complexity, along with related tasks and practical applications. Extensive performance comparisons on standard benchmarks are also provided. We continually track related works at https://github.com/henghuiding/Awesome-Multimodal-Referring-Segmentation.