VRBench: Бенчмарк для многошагового рассуждения в длинных нарративных видео

VRBench: A Benchmark for Multi-Step Reasoning in Long Narrative Videos

June 12, 2025

Авторы: Jiashuo Yu, Yue Wu, Meng Chu, Zhifei Ren, Zizheng Huang, Pei Chu, Ruijie Zhang, Yinan He, Qirui Li, Songze Li, Zhenxiang Li, Zhongying Tu, Conghui He, Yu Qiao, Yali Wang, Yi Wang, Limin Wang

cs.AI

Аннотация

Мы представляем VRBench — первый эталонный набор длинных повествовательных видео, разработанный для оценки способности крупных моделей к многошаговому рассуждению, устраняя ограничения существующих методов оценки, которые игнорируют временное рассуждение и процедурную валидность. Набор включает 1010 длинных видео (средняя продолжительность — 1,6 часа), а также 9468 пар вопросов и ответов с многошаговыми рассуждениями, размеченных вручную, и 30 292 шага рассуждений с временными метками. Эти видео отобраны с помощью многоэтапного процесса фильтрации, включающего экспертный перекрестный анализ для обеспечения сюжетной согласованности. Мы разработали фреймворк для совместной работы человека и ИИ, который генерирует согласованные цепочки рассуждений, каждая из которых требует нескольких временно закрепленных шагов, охватывающих семь типов (например, атрибуция событий, неявный вывод). VRBench предлагает многофазный конвейер оценки, который проверяет модели как на уровне результатов, так и на уровне процесса. Помимо тестов с множественным выбором для финальных результатов, мы предлагаем метрику оценки на уровне прогресса, управляемую LLM, чтобы всесторонне оценить качество цепочки рассуждений с нескольких измерений. Проведя масштабные оценки 12 LLM и 16 VLM на VRBench, мы выполнили детальный анализ и предоставили ценные инсайты, способствующие развитию области многошагового рассуждения.

English

We present VRBench, the first long narrative video benchmark crafted for evaluating large models' multi-step reasoning capabilities, addressing limitations in existing evaluations that overlook temporal reasoning and procedural validity. It comprises 1,010 long videos (with an average duration of 1.6 hours), along with 9,468 human-labeled multi-step question-answering pairs and 30,292 reasoning steps with timestamps. These videos are curated via a multi-stage filtering process including expert inter-rater reviewing to prioritize plot coherence. We develop a human-AI collaborative framework that generates coherent reasoning chains, each requiring multiple temporally grounded steps, spanning seven types (e.g., event attribution, implicit inference). VRBench designs a multi-phase evaluation pipeline that assesses models at both the outcome and process levels. Apart from the MCQs for the final results, we propose a progress-level LLM-guided scoring metric to evaluate the quality of the reasoning chain from multiple dimensions comprehensively. Through extensive evaluations of 12 LLMs and 16 VLMs on VRBench, we undertake a thorough analysis and provide valuable insights that advance the field of multi-step reasoning.