VCR-Bench: Un Marco de Evaluación Integral para el Razonamiento en Cadena de Pensamiento en Videos

VCR-Bench: A Comprehensive Evaluation Framework for Video Chain-of-Thought Reasoning

April 10, 2025

Autores: Yukun Qi, Yiming Zhao, Yu Zeng, Xikun Bao, Wenxuan Huang, Lin Chen, Zehui Chen, Jie Zhao, Zhongang Qi, Feng Zhao

cs.AI

Resumen

El avance en el razonamiento de Cadena de Pensamiento (CoT, por sus siglas en inglés) ha mejorado significativamente las capacidades de los modelos de lenguaje de gran escala (LLMs) y los modelos de visión-lenguaje de gran escala (LVLMs). Sin embargo, aún falta un marco de evaluación riguroso para el razonamiento CoT en videos. Los puntos de referencia actuales para videos no logran evaluar adecuadamente el proceso de razonamiento ni identificar si los fallos se deben a deficiencias en las capacidades de percepción o de razonamiento. Por ello, presentamos VCR-Bench, un nuevo punto de referencia diseñado para evaluar de manera integral las capacidades de razonamiento CoT en videos de los LVLMs. VCR-Bench incluye 859 videos que abarcan una variedad de contenidos y duraciones, junto con 1,034 pares de preguntas-respuestas de alta calidad. Cada par está anotado manualmente con una justificación CoT paso a paso, donde cada paso está etiquetado para indicar su asociación con las capacidades de percepción o razonamiento. Además, diseñamos siete dimensiones de tareas distintas y proponemos la puntuación CoT para evaluar todo el proceso CoT basado en las justificaciones CoT etiquetadas paso a paso. Experimentos exhaustivos en VCR-Bench destacan limitaciones sustanciales en los LVLMs actuales. Incluso el modelo de mejor rendimiento, o1, solo alcanza un 62.8% en la puntuación CoT y un 56.7% de precisión, mientras que la mayoría de los modelos obtienen puntuaciones inferiores al 40%. Los experimentos muestran que la mayoría de los modelos obtienen puntuaciones más bajas en los pasos de percepción que en los de razonamiento, revelando el cuello de botella clave de los LVLMs en el procesamiento de información espacio-temporal para el razonamiento complejo en videos. Una fuerte correlación positiva entre la puntuación CoT y la precisión confirma la validez de nuestro marco de evaluación y subraya el papel crítico del razonamiento CoT en la resolución de tareas complejas de razonamiento en videos. Esperamos que VCR-Bench sirva como un marco de evaluación estandarizado y exponga las deficiencias reales en tareas complejas de razonamiento en videos.

English

The advancement of Chain-of-Thought (CoT) reasoning has significantly enhanced the capabilities of large language models (LLMs) and large vision-language models (LVLMs). However, a rigorous evaluation framework for video CoT reasoning remains absent. Current video benchmarks fail to adequately assess the reasoning process and expose whether failures stem from deficiencies in perception or reasoning capabilities. Therefore, we introduce VCR-Bench, a novel benchmark designed to comprehensively evaluate LVLMs' Video Chain-of-Thought Reasoning capabilities. VCR-Bench comprises 859 videos spanning a variety of video content and durations, along with 1,034 high-quality question-answer pairs. Each pair is manually annotated with a stepwise CoT rationale, where every step is tagged to indicate its association with the perception or reasoning capabilities. Furthermore, we design seven distinct task dimensions and propose the CoT score to assess the entire CoT process based on the stepwise tagged CoT rationals. Extensive experiments on VCR-Bench highlight substantial limitations in current LVLMs. Even the top-performing model, o1, only achieves a 62.8% CoT score and an 56.7% accuracy, while most models score below 40%. Experiments show most models score lower on perception than reasoning steps, revealing LVLMs' key bottleneck in temporal-spatial information processing for complex video reasoning. A robust positive correlation between the CoT score and accuracy confirms the validity of our evaluation framework and underscores the critical role of CoT reasoning in solving complex video reasoning tasks. We hope VCR-Bench to serve as a standardized evaluation framework and expose the actual drawbacks in complex video reasoning task.