VRBench: Um Benchmark para Raciocínio Multi-Etapas em Vídeos Narrativos Longos

VRBench: A Benchmark for Multi-Step Reasoning in Long Narrative Videos

June 12, 2025

Autores: Jiashuo Yu, Yue Wu, Meng Chu, Zhifei Ren, Zizheng Huang, Pei Chu, Ruijie Zhang, Yinan He, Qirui Li, Songze Li, Zhenxiang Li, Zhongying Tu, Conghui He, Yu Qiao, Yali Wang, Yi Wang, Limin Wang

cs.AI

Resumo

Apresentamos o VRBench, o primeiro benchmark de vídeos narrativos longos desenvolvido para avaliar as capacidades de raciocínio em múltiplos passos de modelos de grande escala, abordando limitações em avaliações existentes que negligenciam o raciocínio temporal e a validade procedural. Ele é composto por 1.010 vídeos longos (com duração média de 1,6 horas), juntamente com 9.468 pares de perguntas e respostas em múltiplos passos rotulados por humanos e 30.292 etapas de raciocínio com marcas de tempo. Esses vídeos são selecionados por meio de um processo de filtragem em múltiplos estágios, incluindo revisão por especialistas para priorizar a coerência do enredo. Desenvolvemos uma estrutura colaborativa humano-IA que gera cadeias de raciocínio coerentes, cada uma exigindo múltiplos passos temporalmente fundamentados, abrangendo sete tipos (por exemplo, atribuição de eventos, inferência implícita). O VRBench projeta um pipeline de avaliação multifásico que avalia os modelos tanto no nível de resultados quanto no nível de processo. Além das questões de múltipla escolha (MCQs) para os resultados finais, propomos uma métrica de pontuação guiada por LLM no nível de progresso para avaliar a qualidade da cadeia de raciocínio a partir de múltiplas dimensões de forma abrangente. Por meio de avaliações extensas de 12 LLMs e 16 VLMs no VRBench, realizamos uma análise detalhada e fornecemos insights valiosos que avançam o campo do raciocínio em múltiplos passos.

English

We present VRBench, the first long narrative video benchmark crafted for evaluating large models' multi-step reasoning capabilities, addressing limitations in existing evaluations that overlook temporal reasoning and procedural validity. It comprises 1,010 long videos (with an average duration of 1.6 hours), along with 9,468 human-labeled multi-step question-answering pairs and 30,292 reasoning steps with timestamps. These videos are curated via a multi-stage filtering process including expert inter-rater reviewing to prioritize plot coherence. We develop a human-AI collaborative framework that generates coherent reasoning chains, each requiring multiple temporally grounded steps, spanning seven types (e.g., event attribution, implicit inference). VRBench designs a multi-phase evaluation pipeline that assesses models at both the outcome and process levels. Apart from the MCQs for the final results, we propose a progress-level LLM-guided scoring metric to evaluate the quality of the reasoning chain from multiple dimensions comprehensively. Through extensive evaluations of 12 LLMs and 16 VLMs on VRBench, we undertake a thorough analysis and provide valuable insights that advance the field of multi-step reasoning.