VideoRefer Suite: Развитие пространственно-временного понимания объектов с помощью видео LLM

VideoRefer Suite: Advancing Spatial-Temporal Object Understanding with Video LLM

December 31, 2024

Авторы: Yuqian Yuan, Hang Zhang, Wentong Li, Zesen Cheng, Boqiang Zhang, Long Li, Xin Li, Deli Zhao, Wenqiao Zhang, Yueting Zhuang, Jianke Zhu, Lidong Bing

cs.AI

Аннотация

Видео Большие Языковые Модели (Video LLMs) недавно продемонстрировали замечательные возможности в общем понимании видео. Однако они в основном сосредотачиваются на голистическом понимании и испытывают трудности с захватом детализированных пространственных и временных деталей. Кроме того, отсутствие высококачественных данных по объектам на уровне видео и комплексной точки отсчета дополнительно затрудняет их развитие. Для преодоления этих препятствий мы представляем набор VideoRefer Suite для усиления Video LLM для более детального пространственно-временного понимания видео, то есть обеспечивая восприятие и рассуждения о любых объектах на протяжении видео. В частности, мы тщательно разрабатываем VideoRefer Suite по трем основным аспектам: набор данных, модель и точка отсчета. Во-первых, мы представляем мультиагентный движок данных для тщательного составления крупномасштабного, высококачественного набора данных по объектам на уровне видео, названного VideoRefer-700K. Затем мы представляем модель VideoRefer, которая оснащает универсальный пространственно-временной объектный кодер для захвата точных региональных и последовательных представлений. Наконец, мы тщательно создаем VideoRefer-Bench для всесторонней оценки способности пространственно-временного понимания Video LLM, оценивая его по различным аспектам. Обширные эксперименты и анализы демонстрируют, что наша модель VideoRefer не только достигает многообещающих результатов на точках отсчета по ссылкам в видео, но также способствует общим возможностям понимания видео.

English

Video Large Language Models (Video LLMs) have recently exhibited remarkable capabilities in general video understanding. However, they mainly focus on holistic comprehension and struggle with capturing fine-grained spatial and temporal details. Besides, the lack of high-quality object-level video instruction data and a comprehensive benchmark further hinders their advancements. To tackle these challenges, we introduce the VideoRefer Suite to empower Video LLM for finer-level spatial-temporal video understanding, i.e., enabling perception and reasoning on any objects throughout the video. Specially, we thoroughly develop VideoRefer Suite across three essential aspects: dataset, model, and benchmark. Firstly, we introduce a multi-agent data engine to meticulously curate a large-scale, high-quality object-level video instruction dataset, termed VideoRefer-700K. Next, we present the VideoRefer model, which equips a versatile spatial-temporal object encoder to capture precise regional and sequential representations. Finally, we meticulously create a VideoRefer-Bench to comprehensively assess the spatial-temporal understanding capability of a Video LLM, evaluating it across various aspects. Extensive experiments and analyses demonstrate that our VideoRefer model not only achieves promising performance on video referring benchmarks but also facilitates general video understanding capabilities.