Segmentação de Referência Multimodal: Uma Revisão

Multimodal Referring Segmentation: A Survey

August 1, 2025

Autores: Henghui Ding, Song Tang, Shuting He, Chang Liu, Zuxuan Wu, Yu-Gang Jiang

cs.AI

Resumo

A segmentação multimodal por referência tem como objetivo segmentar objetos-alvo em cenas visuais, como imagens, vídeos e cenas 3D, com base em expressões de referência em formato textual ou de áudio. Essa tarefa desempenha um papel crucial em aplicações práticas que exigem percepção precisa de objetos com base em instruções do usuário. Na última década, ela tem recebido atenção significativa na comunidade multimodal, impulsionada por avanços em redes neurais convolucionais, transformers e grandes modelos de linguagem, todos os quais melhoraram substancialmente as capacidades de percepção multimodal. Este artigo fornece uma revisão abrangente da segmentação multimodal por referência. Começamos apresentando o contexto desse campo, incluindo definições do problema e conjuntos de dados comumente utilizados. Em seguida, resumimos uma metaarquitetura unificada para segmentação por referência e revisamos métodos representativos em três principais cenários visuais: imagens, vídeos e cenas 3D. Discutimos ainda métodos de Expressão de Referência Generalizada (GREx) para abordar os desafios da complexidade do mundo real, juntamente com tarefas relacionadas e aplicações práticas. Comparações extensivas de desempenho em benchmarks padrão também são fornecidas. Acompanhamos continuamente trabalhos relacionados em https://github.com/henghuiding/Awesome-Multimodal-Referring-Segmentation.

English

Multimodal referring segmentation aims to segment target objects in visual scenes, such as images, videos, and 3D scenes, based on referring expressions in text or audio format. This task plays a crucial role in practical applications requiring accurate object perception based on user instructions. Over the past decade, it has gained significant attention in the multimodal community, driven by advances in convolutional neural networks, transformers, and large language models, all of which have substantially improved multimodal perception capabilities. This paper provides a comprehensive survey of multimodal referring segmentation. We begin by introducing this field's background, including problem definitions and commonly used datasets. Next, we summarize a unified meta architecture for referring segmentation and review representative methods across three primary visual scenes, including images, videos, and 3D scenes. We further discuss Generalized Referring Expression (GREx) methods to address the challenges of real-world complexity, along with related tasks and practical applications. Extensive performance comparisons on standard benchmarks are also provided. We continually track related works at https://github.com/henghuiding/Awesome-Multimodal-Referring-Segmentation.