Suite VideoRefer : Faire progresser la compréhension des objets spatiaux-temporels avec Video LLM

VideoRefer Suite: Advancing Spatial-Temporal Object Understanding with Video LLM

December 31, 2024

Auteurs: Yuqian Yuan, Hang Zhang, Wentong Li, Zesen Cheng, Boqiang Zhang, Long Li, Xin Li, Deli Zhao, Wenqiao Zhang, Yueting Zhuang, Jianke Zhu, Lidong Bing

cs.AI

Résumé

Les grands modèles de langage vidéo (Video LLMs) ont récemment montré des capacités remarquables en matière de compréhension générale des vidéos. Cependant, ils se concentrent principalement sur la compréhension holistique et éprouvent des difficultés à capturer les détails spatiaux et temporels fins. De plus, le manque de données d'instructions vidéo de haute qualité au niveau de l'objet et d'un banc d'essai complet entrave davantage leurs progrès. Pour relever ces défis, nous introduisons l'ensemble VideoRefer pour renforcer les Video LLM pour une compréhension vidéo spatiale-temporelle de niveau plus fin, c'est-à-dire permettre la perception et le raisonnement sur n'importe quels objets tout au long de la vidéo. Plus précisément, nous développons en détail l'ensemble VideoRefer à travers trois aspects essentiels : jeu de données, modèle et banc d'essai. Tout d'abord, nous introduisons un moteur de données multi-agent pour créer méticuleusement un ensemble de données d'instructions vidéo au niveau de l'objet à grande échelle et de haute qualité, appelé VideoRefer-700K. Ensuite, nous présentons le modèle VideoRefer, qui est équipé d'un encodeur d'objet spatial-temporel polyvalent pour capturer des représentations régionales et séquentielles précises. Enfin, nous créons méticuleusement un banc d'essai VideoRefer-Bench pour évaluer de manière exhaustive la capacité de compréhension spatiale-temporelle d'un Video LLM, en l'évaluant à travers divers aspects. Des expériences et analyses approfondies démontrent que notre modèle VideoRefer non seulement atteint des performances prometteuses sur les bancs d'essai de référence vidéo, mais facilite également les capacités de compréhension générale des vidéos.

English

Video Large Language Models (Video LLMs) have recently exhibited remarkable capabilities in general video understanding. However, they mainly focus on holistic comprehension and struggle with capturing fine-grained spatial and temporal details. Besides, the lack of high-quality object-level video instruction data and a comprehensive benchmark further hinders their advancements. To tackle these challenges, we introduce the VideoRefer Suite to empower Video LLM for finer-level spatial-temporal video understanding, i.e., enabling perception and reasoning on any objects throughout the video. Specially, we thoroughly develop VideoRefer Suite across three essential aspects: dataset, model, and benchmark. Firstly, we introduce a multi-agent data engine to meticulously curate a large-scale, high-quality object-level video instruction dataset, termed VideoRefer-700K. Next, we present the VideoRefer model, which equips a versatile spatial-temporal object encoder to capture precise regional and sequential representations. Finally, we meticulously create a VideoRefer-Bench to comprehensively assess the spatial-temporal understanding capability of a Video LLM, evaluating it across various aspects. Extensive experiments and analyses demonstrate that our VideoRefer model not only achieves promising performance on video referring benchmarks but also facilitates general video understanding capabilities.