UniVBench: к унифицированной оценке базовых моделей для видео
UniVBench: Towards Unified Evaluation for Video Foundation Models
February 25, 2026
Авторы: Jianhui Wei, Xiaotian Zhang, Yichen Li, Yuan Wang, Yan Zhang, Ziyi Chen, Zhihang Tang, Wei Xu, Zuozhu Liu
cs.AI
Аннотация
Видеофундаментальные модели ставят целью объединить понимание, генерацию, редактирование видео и выполнение инструкций в единой системе, что делает их центральным направлением для систем следующего поколения, работающих с несколькими модальностями. Однако существующие бенчмарки для оценки остаются фрагментированными и ограниченными по охвату, поскольку каждый из них нацелен на одну задачу, опирается на специфичные для задачи метрики и обычно использует короткие или простые видеофрагменты. В результате они не отражают унифицированные возможности, для предоставления которых эти модели и создаются. Чтобы устранить этот пробел, мы представляем UniVBench — бенчмарк, специально разработанный для оценки видеофундаментальных моделей по четырем ключевым способностям: понимание видео, генерация видео, редактирование видео и новая предлагаемая задача — реконструкция видео, которая оценивает, насколько точно модель может воспроизвести просмотренное видео. Наш бенчмарк существенно расширяет сложность оценки за счет включения 200 высококачественных, разнообразных и многокадровых видео, каждое из которых снабжено детальными описаниями, инструкциями по редактированию в различных форматах и референсными изображениями. Все видео созданы человеком и тщательно проверены, предлагая более богатую кинематографическую информацию по сравнению с предыдущими бенчмарками. Кроме того, мы разработали унифицированную агентскую систему оценки (UniV-Eval), которая стандартизирует формирование промптов, парсинг инструкций и оценку по всем задачам, что позволяет проводить справедливые, масштабируемые и воспроизводимые сравнения унифицированных видео-моделей. Основывая оценку на задачах с многокадровыми видео, управляемыми инструкциями, UniVBench предоставляет первую систему для измерения интегрированных возможностей, которых стремятся достичь видеофундаментальные модели. Обширные человеческие аннотации гарантируют, что наша оценка согласуется с человеческим суждением, обеспечивая строгий анализ и ускоряя прогресс в направлении создания надежного видеоинтеллекта.
English
Video foundation models aim to integrate video understanding, generation, editing, and instruction following within a single framework, making them a central direction for next-generation multimodal systems. However, existing evaluation benchmarks remain fragmented and limited in scope, as they each target a single task, rely on task-specific metrics, and typically use short or simple video clips. As a result, they do not capture the unified capabilities that these models are designed to deliver. To address this gap, we introduce UniVBench, a benchmark purpose-built for evaluating video foundation models across four core abilities: video understanding, video generation, video editing, and a newly proposed task, video reconstruction, which assesses how faithfully a model can reproduce video content it has encountered. Our benchmark substantially expands the complexity of evaluation by incorporating 200 high-quality, diverse and multi-shot videos, each paired with detailed captions, multi-format editing instructions, and reference images. All videos are human-created and carefully validated, offering richer cinematic information than prior benchmarks. In addition, we develop a unified agentic evaluation system (UniV-Eval) that standardizes prompting, instruction parsing, and scoring across all tasks, enabling fair, scalable, and reproducible comparisons of unified video models. By grounding evaluation in instruction-based multi-shot video tasks, UniVBench provides the first framework for measuring the integrated capabilities that video foundation models aim to achieve. Extensive human annotations ensure our evaluation aligns with human judgment, enabling rigorous assessment and accelerating progress toward robust video intelligence.