IVEBench: Moderne Benchmark Suite voor Instructie-Gestuurd Videobewerking Evaluatie

IVEBench: Modern Benchmark Suite for Instruction-Guided Video Editing Assessment

October 13, 2025

Auteurs: Yinan Chen, Jiangning Zhang, Teng Hu, Yuxiang Zeng, Zhucun Xue, Qingdong He, Chengjie Wang, Yong Liu, Xiaobin Hu, Shuicheng Yan

cs.AI

Samenvatting

Instructiegestuurd video-editen is uitgegroeid tot een snel ontwikkelend onderzoeksgebied, dat nieuwe mogelijkheden biedt voor intuïtieve contenttransformatie, maar tegelijkertijd aanzienlijke uitdagingen met zich meebrengt voor systematische evaluatie. Bestaande benchmarks voor video-editen schieten tekort in het ondersteunen van de evaluatie van instructiegestuurd video-editen en hebben bovendien te kampen met beperkte bronnendiversiteit, smalle taakdekking en onvolledige evaluatiemetrics. Om deze beperkingen aan te pakken, introduceren we IVEBench, een moderne benchmark suite die specifiek is ontworpen voor de evaluatie van instructiegestuurd video-editen. IVEBench omvat een diverse database van 600 hoogwaardige bronvideo's, verdeeld over zeven semantische dimensies, en beslaat videolengtes variërend van 32 tot 1.024 frames. Daarnaast bevat het acht categorieën van edittaken met 35 subcategorieën, waarvan de prompts zijn gegenereerd en verfijnd met behulp van grote taalmmodellen en expertbeoordelingen. Cruciaal is dat IVEBench een driedimensionaal evaluatieprotocol vaststelt dat video kwaliteit, instructienaleving en videotrouw omvat, waarbij zowel traditionele metrics als op multimodale grote taalmmodellen gebaseerde beoordelingen worden geïntegreerd. Uitgebreide experimenten tonen de effectiviteit van IVEBench aan bij het benchmarken van state-of-the-art methoden voor instructiegestuurd video-editen, waarbij het vermogen wordt aangetoond om uitgebreide en mensgerichte evaluatieresultaten te bieden.

English

Instruction-guided video editing has emerged as a rapidly advancing research direction, offering new opportunities for intuitive content transformation while also posing significant challenges for systematic evaluation. Existing video editing benchmarks fail to support the evaluation of instruction-guided video editing adequately and further suffer from limited source diversity, narrow task coverage and incomplete evaluation metrics. To address the above limitations, we introduce IVEBench, a modern benchmark suite specifically designed for instruction-guided video editing assessment. IVEBench comprises a diverse database of 600 high-quality source videos, spanning seven semantic dimensions, and covering video lengths ranging from 32 to 1,024 frames. It further includes 8 categories of editing tasks with 35 subcategories, whose prompts are generated and refined through large language models and expert review. Crucially, IVEBench establishes a three-dimensional evaluation protocol encompassing video quality, instruction compliance and video fidelity, integrating both traditional metrics and multimodal large language model-based assessments. Extensive experiments demonstrate the effectiveness of IVEBench in benchmarking state-of-the-art instruction-guided video editing methods, showing its ability to provide comprehensive and human-aligned evaluation outcomes.