Мультимодальная сегментация с использованием ссылок: Обзор

Multimodal Referring Segmentation: A Survey

August 1, 2025

Авторы: Henghui Ding, Song Tang, Shuting He, Chang Liu, Zuxuan Wu, Yu-Gang Jiang

cs.AI

Аннотация

Мультимодальная сегментация по ссылкам направлена на выделение целевых объектов в визуальных сценах, таких как изображения, видео и 3D-сцены, на основе ссылочных выражений в текстовом или аудиоформате. Эта задача играет ключевую роль в практических приложениях, требующих точного восприятия объектов на основе пользовательских инструкций. За последнее десятилетие она привлекла значительное внимание в мультимодальном сообществе благодаря достижениям в области сверточных нейронных сетей, трансформеров и крупных языковых моделей, которые существенно улучшили возможности мультимодального восприятия. В данной статье представлен всесторонний обзор мультимодальной сегментации по ссылкам. Мы начинаем с введения в область, включая определения задач и часто используемые наборы данных. Далее мы обобщаем унифицированную метаархитектуру для сегментации по ссылкам и рассматриваем репрезентативные методы для трех основных типов визуальных сцен: изображений, видео и 3D-сцен. Мы также обсуждаем методы обобщенных ссылочных выражений (GREx), направленные на решение проблем, связанных со сложностью реального мира, а также связанные задачи и практические приложения. Представлены обширные сравнения производительности на стандартных тестовых наборах. Мы постоянно отслеживаем связанные работы на https://github.com/henghuiding/Awesome-Multimodal-Referring-Segmentation.

English

Multimodal referring segmentation aims to segment target objects in visual scenes, such as images, videos, and 3D scenes, based on referring expressions in text or audio format. This task plays a crucial role in practical applications requiring accurate object perception based on user instructions. Over the past decade, it has gained significant attention in the multimodal community, driven by advances in convolutional neural networks, transformers, and large language models, all of which have substantially improved multimodal perception capabilities. This paper provides a comprehensive survey of multimodal referring segmentation. We begin by introducing this field's background, including problem definitions and commonly used datasets. Next, we summarize a unified meta architecture for referring segmentation and review representative methods across three primary visual scenes, including images, videos, and 3D scenes. We further discuss Generalized Referring Expression (GREx) methods to address the challenges of real-world complexity, along with related tasks and practical applications. Extensive performance comparisons on standard benchmarks are also provided. We continually track related works at https://github.com/henghuiding/Awesome-Multimodal-Referring-Segmentation.