MeViS：参照動作表現動画セグメンテーションのためのマルチモーダルデータセット

要旨

本論文は、参照的動作表現ビデオセグメンテーションのための大規模マルチモーダルデータセットを提案する。これは、物体の動作に関する言語記述に基づいてビデオ内の対象物体をセグメンテーションおよび追跡することを目的としている。既存の参照的ビデオセグメンテーションデータセットは、顕著な物体に焦点を当て、静的な属性に富んだ言語表現を使用することが多く、単一フレームで対象物体を特定できる可能性がある。このようなデータセットでは、ビデオと言語の両方における動作の役割が十分に強調されていない。動作表現と動作推論の手がかりを用いたピクセルレベルのビデオ理解の実現可能性を探るため、我々はMeViSデータセットを導入する。このデータセットは、複雑なシナリオの2,006本のビデオに含まれる8,171の物体をカバーする、33,072の人手による注釈が付与されたテキストおよび音声の動作表現を含む。我々は、MeViSがサポートする4つのタスクにおいて、既存の15の手法をベンチマークした。これには、6つの参照的ビデオ物体セグメンテーション（RVOS）手法、3つの音声誘導ビデオ物体セグメンテーション（AVOS）手法、2つの参照的複数物体追跡（RMOT）手法、および新たに導入された参照的動作表現生成（RMEG）タスクのための4つのビデオキャプショニング手法が含まれる。結果は、動作表現誘導型ビデオ理解に対処する既存手法の弱点と限界を示している。我々はさらに課題を分析し、RVOS/AVOS/RMOTのための新しい手法LMPM++を提案し、新たなstate-of-the-art結果を達成した。我々のデータセットは、複雑なビデオシーンにおける動作表現誘導型ビデオ理解アルゴリズムの開発を促進するプラットフォームを提供する。提案されたMeViSデータセットと手法のソースコードは、https://henghuiding.com/MeViS/ で公開されている。

English

This paper proposes a large-scale multi-modal dataset for referring motion expression video segmentation, focusing on segmenting and tracking target objects in videos based on language description of objects' motions. Existing referring video segmentation datasets often focus on salient objects and use language expressions rich in static attributes, potentially allowing the target object to be identified in a single frame. Such datasets underemphasize the role of motion in both videos and languages. To explore the feasibility of using motion expressions and motion reasoning clues for pixel-level video understanding, we introduce MeViS, a dataset containing 33,072 human-annotated motion expressions in both text and audio, covering 8,171 objects in 2,006 videos of complex scenarios. We benchmark 15 existing methods across 4 tasks supported by MeViS, including 6 referring video object segmentation (RVOS) methods, 3 audio-guided video object segmentation (AVOS) methods, 2 referring multi-object tracking (RMOT) methods, and 4 video captioning methods for the newly introduced referring motion expression generation (RMEG) task. The results demonstrate weaknesses and limitations of existing methods in addressing motion expression-guided video understanding. We further analyze the challenges and propose an approach LMPM++ for RVOS/AVOS/RMOT that achieves new state-of-the-art results. Our dataset provides a platform that facilitates the development of motion expression-guided video understanding algorithms in complex video scenes. The proposed MeViS dataset and the method's source code are publicly available at https://henghuiding.com/MeViS/

MeViS：参照動作表現動画セグメンテーションのためのマルチモーダルデータセット

MeViS: A Multi-Modal Dataset for Referring Motion Expression Video Segmentation

要旨

Support