IVEBench : Suite de référence moderne pour l'évaluation de l'édition vidéo guidée par instructions
IVEBench: Modern Benchmark Suite for Instruction-Guided Video Editing Assessment
October 13, 2025
papers.authors: Yinan Chen, Jiangning Zhang, Teng Hu, Yuxiang Zeng, Zhucun Xue, Qingdong He, Chengjie Wang, Yong Liu, Xiaobin Hu, Shuicheng Yan
cs.AI
papers.abstract
L'édition vidéo guidée par instructions a émergé comme une direction de recherche en pleine expansion, offrant de nouvelles opportunités pour la transformation intuitive de contenu tout en posant des défis significatifs pour l'évaluation systématique. Les benchmarks existants pour l'édition vidéo ne parviennent pas à soutenir adéquatement l'évaluation de l'édition vidéo guidée par instructions et souffrent en outre d'une diversité limitée des sources, d'une couverture étroite des tâches et de métriques d'évaluation incomplètes. Pour remédier à ces limitations, nous introduisons IVEBench, une suite de benchmarks moderne spécialement conçue pour l'évaluation de l'édition vidéo guidée par instructions. IVEBench comprend une base de données diversifiée de 600 vidéos sources de haute qualité, couvrant sept dimensions sémantiques et des longueurs de vidéo allant de 32 à 1 024 images. Il inclut en outre 8 catégories de tâches d'édition avec 35 sous-catégories, dont les instructions sont générées et affinées grâce à des modèles de langage de grande taille et à l'examen par des experts. De manière cruciale, IVEBench établit un protocole d'évaluation tridimensionnel englobant la qualité vidéo, la conformité aux instructions et la fidélité vidéo, intégrant à la fois des métriques traditionnelles et des évaluations basées sur des modèles de langage multimodaux de grande taille. Des expériences approfondies démontrent l'efficacité d'IVEBench dans le benchmarking des méthodes d'édition vidéo guidée par instructions les plus avancées, montrant sa capacité à fournir des résultats d'évaluation complets et alignés sur les jugements humains.
English
Instruction-guided video editing has emerged as a rapidly advancing research
direction, offering new opportunities for intuitive content transformation
while also posing significant challenges for systematic evaluation. Existing
video editing benchmarks fail to support the evaluation of instruction-guided
video editing adequately and further suffer from limited source diversity,
narrow task coverage and incomplete evaluation metrics. To address the above
limitations, we introduce IVEBench, a modern benchmark suite specifically
designed for instruction-guided video editing assessment. IVEBench comprises a
diverse database of 600 high-quality source videos, spanning seven semantic
dimensions, and covering video lengths ranging from 32 to 1,024 frames. It
further includes 8 categories of editing tasks with 35 subcategories, whose
prompts are generated and refined through large language models and expert
review. Crucially, IVEBench establishes a three-dimensional evaluation protocol
encompassing video quality, instruction compliance and video fidelity,
integrating both traditional metrics and multimodal large language model-based
assessments. Extensive experiments demonstrate the effectiveness of IVEBench in
benchmarking state-of-the-art instruction-guided video editing methods, showing
its ability to provide comprehensive and human-aligned evaluation outcomes.