MeViS: Een Multimodale Dataset voor Verwijzende Bewegingsuitdrukking Videosegmentatie
MeViS: A Multi-Modal Dataset for Referring Motion Expression Video Segmentation
December 11, 2025
Auteurs: Henghui Ding, Chang Liu, Shuting He, Kaining Ying, Xudong Jiang, Chen Change Loy, Yu-Gang Jiang
cs.AI
Samenvatting
Dit artikel introduceert een grootschalige multimodale dataset voor verwijzende bewegingsuitdrukking-videosegmentatie, gericht op het segmenteren en volgen van doelobjecten in video's op basis van taal beschrijvingen van objectbewegingen. Bestaande datasets voor verwijzende videosegmentatie richten zich vaak op opvallende objecten en gebruiken taalexpressies die rijk zijn aan statische attributen, waardoor het doelobject mogelijk in een enkel frame geïdentificeerd kan worden. Dergelijke datasets benadrukken de rol van beweging in zowel video's als taal onvoldoende. Om de haalbaarheid te onderzoeken van het gebruik van bewegingsuitdrukkingen en beweging-redeneeraanwijzingen voor pixel niveau video begrip, introduceren wij MeViS, een dataset met 33.072 door mensen geannoteerde bewegingsuitdrukkingen in zowel tekst als audio, die 8.171 objecten omvat in 2.006 video's van complexe scenario's. Wij evalueren 15 bestaande methoden voor 4 taken die door MeViS worden ondersteund, waaronder 6 methoden voor verwijzende video-objectsegmentatie (RVOS), 3 audio-gestuurde video-objectsegmentatie (AVOS) methoden, 2 methoden voor verwijzende multi-objecttracking (RMOT) en 4 videobijschriftmethoden voor de nieuw geïntroduceerde taak van het genereren van verwijzende bewegingsuitdrukkingen (RMEG). De resultaten tonen zwakke punten en beperkingen aan van bestaande methoden bij het adresseren van bewegingsuitdrukking-gestuurd videobegrip. Wij analyseren verder de uitdagingen en stellen een aanpak LMPM++ voor voor RVOS/AVOS/RMOT die nieuwe state-of-the-art resultaten behaalt. Onze dataset biedt een platform dat de ontwikkeling van bewegingsuitdrukking-gestuurde videobegrip-algoritmen in complexe videoscenes vergemakkelijkt. De voorgestelde MeViS dataset en de broncode van de methode zijn openbaar beschikbaar op https://henghuiding.com/MeViS/.
English
This paper proposes a large-scale multi-modal dataset for referring motion expression video segmentation, focusing on segmenting and tracking target objects in videos based on language description of objects' motions. Existing referring video segmentation datasets often focus on salient objects and use language expressions rich in static attributes, potentially allowing the target object to be identified in a single frame. Such datasets underemphasize the role of motion in both videos and languages. To explore the feasibility of using motion expressions and motion reasoning clues for pixel-level video understanding, we introduce MeViS, a dataset containing 33,072 human-annotated motion expressions in both text and audio, covering 8,171 objects in 2,006 videos of complex scenarios. We benchmark 15 existing methods across 4 tasks supported by MeViS, including 6 referring video object segmentation (RVOS) methods, 3 audio-guided video object segmentation (AVOS) methods, 2 referring multi-object tracking (RMOT) methods, and 4 video captioning methods for the newly introduced referring motion expression generation (RMEG) task. The results demonstrate weaknesses and limitations of existing methods in addressing motion expression-guided video understanding. We further analyze the challenges and propose an approach LMPM++ for RVOS/AVOS/RMOT that achieves new state-of-the-art results. Our dataset provides a platform that facilitates the development of motion expression-guided video understanding algorithms in complex video scenes. The proposed MeViS dataset and the method's source code are publicly available at https://henghuiding.com/MeViS/