MeViS: Мультимодальный набор данных для сегментации видео с референциальными выражениями движения
MeViS: A Multi-Modal Dataset for Referring Motion Expression Video Segmentation
December 11, 2025
Авторы: Henghui Ding, Chang Liu, Shuting He, Kaining Ying, Xudong Jiang, Chen Change Loy, Yu-Gang Jiang
cs.AI
Аннотация
В данной статье представлен крупномасштабный мультимодальный набор данных для сегментации видео с референциальными выражениями движения, ориентированный на сегментацию и отслеживание целевых объектов в видео на основе языкового описания движений объектов. Существующие наборы данных для референциальной сегментации видео часто фокусируются на значимых объектах и используют языковые выражения, богатые статическими атрибутами, что потенциально позволяет идентифицировать целевой объект в одном кадре. Такие наборы данных недооценивают роль движения как в видео, так и в языке. Для исследования возможности использования выражений движения и подсказок для логического вывода о движении при поэксельном анализе видео мы представляем MeViS — набор данных, содержащий 33 072 аннотированных человеком выражения движения в текстовой и аудиоформе, охватывающих 8 171 объект в 2 006 видео со сложными сценами. Мы провели сравнительный анализ 15 существующих методов по 4 задачам, поддерживаемым MeViS, включая 6 методов референциальной сегментации объектов в видео (RVOS), 3 метода аудио-управляемой сегментации объектов в видео (AVOS), 2 метода референциального отслеживания множества объектов (RMOT) и 4 метода генерации подписей к видео для новой задачи генерации референциальных выражений движения (RMEG). Результаты демонстрируют слабые стороны и ограничения существующих методов в решении задачи анализа видео под руководством выражений движения. Мы дополнительно анализируем challenges и предлагаем подход LMPM++ для задач RVOS/AVOS/RMOT, который достигает новых наилучших результатов. Наш набор данных предоставляет платформу, способствующую разработке алгоритмов анализа видео под руководством выражений движения в сложных видеосценах. Предложенный набор данных MeViS и исходный код метода общедоступны по адресу https://henghuiding.com/MeViS/.
English
This paper proposes a large-scale multi-modal dataset for referring motion expression video segmentation, focusing on segmenting and tracking target objects in videos based on language description of objects' motions. Existing referring video segmentation datasets often focus on salient objects and use language expressions rich in static attributes, potentially allowing the target object to be identified in a single frame. Such datasets underemphasize the role of motion in both videos and languages. To explore the feasibility of using motion expressions and motion reasoning clues for pixel-level video understanding, we introduce MeViS, a dataset containing 33,072 human-annotated motion expressions in both text and audio, covering 8,171 objects in 2,006 videos of complex scenarios. We benchmark 15 existing methods across 4 tasks supported by MeViS, including 6 referring video object segmentation (RVOS) methods, 3 audio-guided video object segmentation (AVOS) methods, 2 referring multi-object tracking (RMOT) methods, and 4 video captioning methods for the newly introduced referring motion expression generation (RMEG) task. The results demonstrate weaknesses and limitations of existing methods in addressing motion expression-guided video understanding. We further analyze the challenges and propose an approach LMPM++ for RVOS/AVOS/RMOT that achieves new state-of-the-art results. Our dataset provides a platform that facilitates the development of motion expression-guided video understanding algorithms in complex video scenes. The proposed MeViS dataset and the method's source code are publicly available at https://henghuiding.com/MeViS/