Segmentation référentielle multimodale : une synthèse

Multimodal Referring Segmentation: A Survey

August 1, 2025

papers.authors: Henghui Ding, Song Tang, Shuting He, Chang Liu, Zuxuan Wu, Yu-Gang Jiang

cs.AI

papers.abstract

La segmentation référentielle multimodale vise à segmenter des objets cibles dans des scènes visuelles, telles que des images, des vidéos et des scènes 3D, en se basant sur des expressions référentielles sous forme de texte ou d'audio. Cette tâche joue un rôle crucial dans les applications pratiques nécessitant une perception précise des objets basée sur les instructions de l'utilisateur. Au cours de la dernière décennie, elle a suscité une attention considérable dans la communauté multimodale, grâce aux avancées des réseaux de neurones convolutifs, des transformateurs et des modèles de langage de grande envergure, qui ont tous considérablement amélioré les capacités de perception multimodale. Cet article propose une revue exhaustive de la segmentation référentielle multimodale. Nous commençons par introduire le contexte de ce domaine, incluant les définitions des problèmes et les jeux de données couramment utilisés. Ensuite, nous résumons une méta-architecture unifiée pour la segmentation référentielle et passons en revue les méthodes représentatives dans trois types principaux de scènes visuelles : les images, les vidéos et les scènes 3D. Nous discutons également des méthodes d'Expression Référentielle Généralisée (GREx) pour relever les défis de la complexité du monde réel, ainsi que des tâches connexes et des applications pratiques. Des comparaisons approfondies des performances sur des benchmarks standards sont également fournies. Nous suivons continuellement les travaux connexes sur https://github.com/henghuiding/Awesome-Multimodal-Referring-Segmentation.

English

Multimodal referring segmentation aims to segment target objects in visual scenes, such as images, videos, and 3D scenes, based on referring expressions in text or audio format. This task plays a crucial role in practical applications requiring accurate object perception based on user instructions. Over the past decade, it has gained significant attention in the multimodal community, driven by advances in convolutional neural networks, transformers, and large language models, all of which have substantially improved multimodal perception capabilities. This paper provides a comprehensive survey of multimodal referring segmentation. We begin by introducing this field's background, including problem definitions and commonly used datasets. Next, we summarize a unified meta architecture for referring segmentation and review representative methods across three primary visual scenes, including images, videos, and 3D scenes. We further discuss Generalized Referring Expression (GREx) methods to address the challenges of real-world complexity, along with related tasks and practical applications. Extensive performance comparisons on standard benchmarks are also provided. We continually track related works at https://github.com/henghuiding/Awesome-Multimodal-Referring-Segmentation.