VideoRefer Suite: Vooruitgang in ruimtelijk-temporele objectherkenning met Video LLM

VideoRefer Suite: Advancing Spatial-Temporal Object Understanding with Video LLM

December 31, 2024

Auteurs: Yuqian Yuan, Hang Zhang, Wentong Li, Zesen Cheng, Boqiang Zhang, Long Li, Xin Li, Deli Zhao, Wenqiao Zhang, Yueting Zhuang, Jianke Zhu, Lidong Bing

cs.AI

Samenvatting

Video Large Language Models (Video LLM's) hebben recentelijk opmerkelijke capaciteiten getoond op het gebied van algemeen begrip van video's. Echter, ze richten zich voornamelijk op holistisch begrip en hebben moeite met het vastleggen van gedetailleerde ruimtelijke en temporele informatie. Bovendien belemmert het gebrek aan hoogwaardige objectniveau video-instructiedata en een uitgebreide benchmark hun vooruitgang. Om deze uitdagingen aan te pakken, introduceren we de VideoRefer Suite om Video LLM te versterken voor een fijnmaziger ruimtelijk-temporeel begrip van video's, oftewel het mogelijk maken van perceptie en redenering over objecten gedurende de hele video. Specifiek ontwikkelen we de VideoRefer Suite grondig over drie essentiële aspecten: dataset, model en benchmark. Allereerst introduceren we een multi-agent data-engine om zorgvuldig een grootschalige, hoogwaardige objectniveau video-instructiedataset samen te stellen, genaamd VideoRefer-700K. Vervolgens presenteren we het VideoRefer-model, dat is uitgerust met een veelzijdige ruimtelijk-temporele objectencoder om precieze regionale en sequentiële representaties vast te leggen. Tot slot creëren we zorgvuldig een VideoRefer-Bench om de ruimtelijk-temporele begripscapaciteit van een Video LLM uitgebreid te beoordelen, waarbij we het evalueren op verschillende aspecten. Uitgebreide experimenten en analyses tonen aan dat ons VideoRefer-model niet alleen veelbelovende prestaties behaalt op videoverwijsbenchmarks, maar ook algemene videobegripscapaciteiten vergemakkelijkt.

English

Video Large Language Models (Video LLMs) have recently exhibited remarkable capabilities in general video understanding. However, they mainly focus on holistic comprehension and struggle with capturing fine-grained spatial and temporal details. Besides, the lack of high-quality object-level video instruction data and a comprehensive benchmark further hinders their advancements. To tackle these challenges, we introduce the VideoRefer Suite to empower Video LLM for finer-level spatial-temporal video understanding, i.e., enabling perception and reasoning on any objects throughout the video. Specially, we thoroughly develop VideoRefer Suite across three essential aspects: dataset, model, and benchmark. Firstly, we introduce a multi-agent data engine to meticulously curate a large-scale, high-quality object-level video instruction dataset, termed VideoRefer-700K. Next, we present the VideoRefer model, which equips a versatile spatial-temporal object encoder to capture precise regional and sequential representations. Finally, we meticulously create a VideoRefer-Bench to comprehensively assess the spatial-temporal understanding capability of a Video LLM, evaluating it across various aspects. Extensive experiments and analyses demonstrate that our VideoRefer model not only achieves promising performance on video referring benchmarks but also facilitates general video understanding capabilities.