VideoRefer Suite: Fortschrittliche räumlich-zeitliche Objektverständnis mit Video LLM

VideoRefer Suite: Advancing Spatial-Temporal Object Understanding with Video LLM

December 31, 2024

Autoren: Yuqian Yuan, Hang Zhang, Wentong Li, Zesen Cheng, Boqiang Zhang, Long Li, Xin Li, Deli Zhao, Wenqiao Zhang, Yueting Zhuang, Jianke Zhu, Lidong Bing

cs.AI

Zusammenfassung

Video Large Language Models (Video LLMs) haben kürzlich bemerkenswerte Fähigkeiten im Bereich des allgemeinen Videoverständnisses gezeigt. Allerdings konzentrieren sie sich hauptsächlich auf ganzheitliches Verständnis und haben Schwierigkeiten, feingliedrige räumliche und zeitliche Details zu erfassen. Darüber hinaus behindert der Mangel an hochwertigen Videoanweisungsdaten auf Objektebene und einem umfassenden Benchmark ihre Fortschritte. Um diese Herausforderungen anzugehen, führen wir die VideoRefer Suite ein, um Video LLM für ein feineres räumlich-zeitliches Videoverständnis zu stärken, d.h. die Wahrnehmung und das Schlussfolgern über beliebige Objekte im gesamten Video zu ermöglichen. Insbesondere entwickeln wir die VideoRefer Suite gründlich in drei wesentlichen Aspekten: Datensatz, Modell und Benchmark. Zunächst führen wir eine Multi-Agenten-Datenengine ein, um einen groß angelegten, hochwertigen Videoanweisungsdatensatz auf Objektebene sorgfältig zu kuratieren, genannt VideoRefer-700K. Als nächstes präsentieren wir das VideoRefer-Modell, das einen vielseitigen räumlich-zeitlichen Objektencoder ausstattet, um präzise regionale und sequenzielle Repräsentationen zu erfassen. Schließlich erstellen wir sorgfältig eine VideoRefer-Bench, um die räumlich-zeitliche Verständnisfähigkeit eines Video LLM umfassend zu bewerten, indem wir es in verschiedenen Aspekten evaluieren. Umfangreiche Experimente und Analysen zeigen, dass unser VideoRefer-Modell nicht nur vielversprechende Leistungen bei Video-Verweis-Benchmarks erzielt, sondern auch die allgemeinen Videoverständnisfähigkeiten erleichtert.

English

Video Large Language Models (Video LLMs) have recently exhibited remarkable capabilities in general video understanding. However, they mainly focus on holistic comprehension and struggle with capturing fine-grained spatial and temporal details. Besides, the lack of high-quality object-level video instruction data and a comprehensive benchmark further hinders their advancements. To tackle these challenges, we introduce the VideoRefer Suite to empower Video LLM for finer-level spatial-temporal video understanding, i.e., enabling perception and reasoning on any objects throughout the video. Specially, we thoroughly develop VideoRefer Suite across three essential aspects: dataset, model, and benchmark. Firstly, we introduce a multi-agent data engine to meticulously curate a large-scale, high-quality object-level video instruction dataset, termed VideoRefer-700K. Next, we present the VideoRefer model, which equips a versatile spatial-temporal object encoder to capture precise regional and sequential representations. Finally, we meticulously create a VideoRefer-Bench to comprehensively assess the spatial-temporal understanding capability of a Video LLM, evaluating it across various aspects. Extensive experiments and analyses demonstrate that our VideoRefer model not only achieves promising performance on video referring benchmarks but also facilitates general video understanding capabilities.