IVEBench: Suite di Benchmark Moderna per la Modifica Video Guidata da Istruzioni Valutazione

IVEBench: Modern Benchmark Suite for Instruction-Guided Video Editing Assessment

October 13, 2025

Autori: Yinan Chen, Jiangning Zhang, Teng Hu, Yuxiang Zeng, Zhucun Xue, Qingdong He, Chengjie Wang, Yong Liu, Xiaobin Hu, Shuicheng Yan

cs.AI

Abstract

L'editing video guidato da istruzioni è emerso come una direzione di ricerca in rapida evoluzione, offrendo nuove opportunità per la trasformazione intuitiva dei contenuti, ma ponendo anche sfide significative per una valutazione sistematica. Gli attuali benchmark per l'editing video non supportano adeguatamente la valutazione dell'editing video guidato da istruzioni e soffrono ulteriormente di una limitata diversità delle fonti, una copertura ristretta dei compiti e metriche di valutazione incomplete. Per affrontare queste limitazioni, introduciamo IVEBench, una suite di benchmark moderna specificamente progettata per la valutazione dell'editing video guidato da istruzioni. IVEBench comprende un database diversificato di 600 video sorgente di alta qualità, che coprono sette dimensioni semantiche e lunghezze video che vanno da 32 a 1.024 fotogrammi. Include inoltre 8 categorie di compiti di editing con 35 sottocategorie, i cui prompt sono generati e perfezionati attraverso modelli linguistici di grandi dimensioni e revisione esperta. In modo cruciale, IVEBench stabilisce un protocollo di valutazione tridimensionale che comprende qualità video, conformità alle istruzioni e fedeltà video, integrando sia metriche tradizionali che valutazioni basate su modelli linguistici multimodali di grandi dimensioni. Esperimenti estensivi dimostrano l'efficacia di IVEBench nel valutare i metodi più avanzati di editing video guidato da istruzioni, mostrando la sua capacità di fornire risultati di valutazione completi e allineati con il giudizio umano.

English

Instruction-guided video editing has emerged as a rapidly advancing research direction, offering new opportunities for intuitive content transformation while also posing significant challenges for systematic evaluation. Existing video editing benchmarks fail to support the evaluation of instruction-guided video editing adequately and further suffer from limited source diversity, narrow task coverage and incomplete evaluation metrics. To address the above limitations, we introduce IVEBench, a modern benchmark suite specifically designed for instruction-guided video editing assessment. IVEBench comprises a diverse database of 600 high-quality source videos, spanning seven semantic dimensions, and covering video lengths ranging from 32 to 1,024 frames. It further includes 8 categories of editing tasks with 35 subcategories, whose prompts are generated and refined through large language models and expert review. Crucially, IVEBench establishes a three-dimensional evaluation protocol encompassing video quality, instruction compliance and video fidelity, integrating both traditional metrics and multimodal large language model-based assessments. Extensive experiments demonstrate the effectiveness of IVEBench in benchmarking state-of-the-art instruction-guided video editing methods, showing its ability to provide comprehensive and human-aligned evaluation outcomes.