IVEBench: Современный набор тестов для оценки редактирования видео с использованием инструкций

IVEBench: Modern Benchmark Suite for Instruction-Guided Video Editing Assessment

October 13, 2025

Авторы: Yinan Chen, Jiangning Zhang, Teng Hu, Yuxiang Zeng, Zhucun Xue, Qingdong He, Chengjie Wang, Yong Liu, Xiaobin Hu, Shuicheng Yan

cs.AI

Аннотация

Редактирование видео на основе инструкций стало быстро развивающимся направлением исследований, открывающим новые возможности для интуитивного преобразования контента, но также представляющим значительные вызовы для систематической оценки. Существующие бенчмарки для редактирования видео не обеспечивают адекватной оценки методов, основанных на инструкциях, и дополнительно страдают от ограниченного разнообразия исходных данных, узкого охвата задач и неполных метрик оценки. Чтобы устранить эти ограничения, мы представляем IVEBench — современный набор бенчмарков, специально разработанный для оценки редактирования видео на основе инструкций. IVEBench включает разнообразную базу данных из 600 высококачественных исходных видео, охватывающих семь семантических измерений, с длительностью от 32 до 1024 кадров. Он также содержит 8 категорий задач редактирования с 35 подкатегориями, чьи инструкции генерируются и уточняются с использованием крупных языковых моделей и экспертной проверки. Ключевым аспектом является то, что IVEBench устанавливает трехмерный протокол оценки, охватывающий качество видео, соответствие инструкциям и достоверность видео, интегрируя как традиционные метрики, так и оценки на основе мультимодальных крупных языковых моделей. Масштабные эксперименты демонстрируют эффективность IVEBench в тестировании передовых методов редактирования видео на основе инструкций, показывая его способность обеспечивать всесторонние и согласованные с человеческим восприятием результаты оценки.

English

Instruction-guided video editing has emerged as a rapidly advancing research direction, offering new opportunities for intuitive content transformation while also posing significant challenges for systematic evaluation. Existing video editing benchmarks fail to support the evaluation of instruction-guided video editing adequately and further suffer from limited source diversity, narrow task coverage and incomplete evaluation metrics. To address the above limitations, we introduce IVEBench, a modern benchmark suite specifically designed for instruction-guided video editing assessment. IVEBench comprises a diverse database of 600 high-quality source videos, spanning seven semantic dimensions, and covering video lengths ranging from 32 to 1,024 frames. It further includes 8 categories of editing tasks with 35 subcategories, whose prompts are generated and refined through large language models and expert review. Crucially, IVEBench establishes a three-dimensional evaluation protocol encompassing video quality, instruction compliance and video fidelity, integrating both traditional metrics and multimodal large language model-based assessments. Extensive experiments demonstrate the effectiveness of IVEBench in benchmarking state-of-the-art instruction-guided video editing methods, showing its ability to provide comprehensive and human-aligned evaluation outcomes.