MeViS: Ein multimodaler Datensatz für referenzielle Bewegungsausdrucks-Videosegmentierung

papers.abstract

Dieses Paper stellt einen groß angelegten multimodalen Datensatz für die Video-Segmentierung mittels referenzieller Bewegungsausdrücke vor, der sich auf die Segmentierung und Verfolgung von Zielobjekten in Videos basierend auf sprachlichen Beschreibungen von Objektbewegungen konzentriert. Bestehende Datensätze für referenzielle Video-Segmentierung konzentrieren sich oft auf salienten Objekte und verwenden sprachliche Ausdrücke, die reich an statischen Attributen sind, was potenziell die Identifizierung des Zielobjekts in einem Einzelbild ermöglicht. Solche Datensätze betonen die Rolle von Bewegung in Videos und Sprache unzureichend. Um die Machbarkeit der Nutzung von Bewegungsausdrücken und Bewegungserkennungs-Hinweisen für das pixelgenaue Video-Verständnis zu erforschen, führen wir MeViS ein – einen Datensatz, der 33.072 menschlich annotierte Bewegungsausdrücke in Text und Audio umfasst und 8.171 Objekte in 2.006 Videos komplexer Szenarien abdeckt. Wir evaluieren 15 bestehende Methoden über 4 von MeViS unterstützte Aufgaben, darunter 6 Methoden zur referenziellen Video-Objektssegmentierung (RVOS), 3 audio-geführte Video-Objektssegmentierungsmethoden (AVOS), 2 Methoden zur referenziellen Multi-Objekt-Verfolgung (RMOT) und 4 Video-Beschreibungsmethoden für die neu eingeführte Aufgabe der Generierung von referenziellen Bewegungsausdrücken (RMEG). Die Ergebnisse zeigen Schwächen und Grenzen bestehender Methoden bei der Bewältigung von bewegungsausdruck-gesteuertem Video-Verständnis auf. Wir analysieren weiterhin die Herausforderungen und schlagen einen Ansatz LMPM++ für RVOS/AVOS/RMOT vor, der neue state-of-the-art Ergebnisse erzielt. Unser Datensatz bietet eine Plattform, die die Entwicklung von bewegungsausdruck-gesteuerten Video-Verständnisalgorithmen in komplexen Videoszenen erleichtert. Der vorgeschlagene MeViS-Datensatz und der Quellcode der Methode sind öffentlich unter https://henghuiding.com/MeViS/ verfügbar.

English

This paper proposes a large-scale multi-modal dataset for referring motion expression video segmentation, focusing on segmenting and tracking target objects in videos based on language description of objects' motions. Existing referring video segmentation datasets often focus on salient objects and use language expressions rich in static attributes, potentially allowing the target object to be identified in a single frame. Such datasets underemphasize the role of motion in both videos and languages. To explore the feasibility of using motion expressions and motion reasoning clues for pixel-level video understanding, we introduce MeViS, a dataset containing 33,072 human-annotated motion expressions in both text and audio, covering 8,171 objects in 2,006 videos of complex scenarios. We benchmark 15 existing methods across 4 tasks supported by MeViS, including 6 referring video object segmentation (RVOS) methods, 3 audio-guided video object segmentation (AVOS) methods, 2 referring multi-object tracking (RMOT) methods, and 4 video captioning methods for the newly introduced referring motion expression generation (RMEG) task. The results demonstrate weaknesses and limitations of existing methods in addressing motion expression-guided video understanding. We further analyze the challenges and propose an approach LMPM++ for RVOS/AVOS/RMOT that achieves new state-of-the-art results. Our dataset provides a platform that facilitates the development of motion expression-guided video understanding algorithms in complex video scenes. The proposed MeViS dataset and the method's source code are publicly available at https://henghuiding.com/MeViS/

MeViS: Ein multimodaler Datensatz für referenzielle Bewegungsausdrucks-Videosegmentierung

MeViS: A Multi-Modal Dataset for Referring Motion Expression Video Segmentation

papers.abstract

Support