VCR-Bench : Un Cadre d'Évaluation Complet pour le Raisonnement en Chaîne de Pensée dans les Vidéos

VCR-Bench: A Comprehensive Evaluation Framework for Video Chain-of-Thought Reasoning

April 10, 2025

Auteurs: Yukun Qi, Yiming Zhao, Yu Zeng, Xikun Bao, Wenxuan Huang, Lin Chen, Zehui Chen, Jie Zhao, Zhongang Qi, Feng Zhao

cs.AI

Résumé

L'avancée du raisonnement en chaîne de pensée (Chain-of-Thought, CoT) a considérablement amélioré les capacités des grands modèles de langage (LLMs) et des grands modèles vision-langage (LVLMs). Cependant, un cadre d'évaluation rigoureux pour le raisonnement CoT appliqué aux vidéos fait encore défaut. Les benchmarks vidéo actuels ne parviennent pas à évaluer adéquatement le processus de raisonnement ni à identifier si les échecs proviennent de lacunes dans les capacités de perception ou de raisonnement. Par conséquent, nous introduisons VCR-Bench, un nouveau benchmark conçu pour évaluer de manière exhaustive les capacités de raisonnement CoT des LVLMs dans le contexte vidéo. VCR-Bench comprend 859 vidéos couvrant une variété de contenus et de durées, ainsi que 1 034 paires question-réponse de haute qualité. Chaque paire est annotée manuellement avec un raisonnement CoT étape par étape, où chaque étape est étiquetée pour indiquer son association avec les capacités de perception ou de raisonnement. De plus, nous concevons sept dimensions de tâches distinctes et proposons le score CoT pour évaluer l'ensemble du processus CoT en nous basant sur les raisonnements CoT étiquetés étape par étape. Des expériences approfondies sur VCR-Bench mettent en lumière des limitations substantielles des LVLMs actuels. Même le modèle le plus performant, o1, n'atteint qu'un score CoT de 62,8 % et une précision de 56,7 %, tandis que la plupart des modèles obtiennent des scores inférieurs à 40 %. Les expériences montrent que la plupart des modèles obtiennent des scores plus faibles sur les étapes de perception que sur celles de raisonnement, révélant un goulot d'étranglement clé des LVLMs dans le traitement des informations spatio-temporelles pour le raisonnement vidéo complexe. Une forte corrélation positive entre le score CoT et la précision confirme la validité de notre cadre d'évaluation et souligne le rôle crucial du raisonnement CoT dans la résolution de tâches de raisonnement vidéo complexes. Nous espérons que VCR-Bench servira de cadre d'évaluation standardisé et mettra en lumière les véritables lacunes dans les tâches de raisonnement vidéo complexe.

English

The advancement of Chain-of-Thought (CoT) reasoning has significantly enhanced the capabilities of large language models (LLMs) and large vision-language models (LVLMs). However, a rigorous evaluation framework for video CoT reasoning remains absent. Current video benchmarks fail to adequately assess the reasoning process and expose whether failures stem from deficiencies in perception or reasoning capabilities. Therefore, we introduce VCR-Bench, a novel benchmark designed to comprehensively evaluate LVLMs' Video Chain-of-Thought Reasoning capabilities. VCR-Bench comprises 859 videos spanning a variety of video content and durations, along with 1,034 high-quality question-answer pairs. Each pair is manually annotated with a stepwise CoT rationale, where every step is tagged to indicate its association with the perception or reasoning capabilities. Furthermore, we design seven distinct task dimensions and propose the CoT score to assess the entire CoT process based on the stepwise tagged CoT rationals. Extensive experiments on VCR-Bench highlight substantial limitations in current LVLMs. Even the top-performing model, o1, only achieves a 62.8% CoT score and an 56.7% accuracy, while most models score below 40%. Experiments show most models score lower on perception than reasoning steps, revealing LVLMs' key bottleneck in temporal-spatial information processing for complex video reasoning. A robust positive correlation between the CoT score and accuracy confirms the validity of our evaluation framework and underscores the critical role of CoT reasoning in solving complex video reasoning tasks. We hope VCR-Bench to serve as a standardized evaluation framework and expose the actual drawbacks in complex video reasoning task.