UniVBench: Verso una Valutazione Unificata per i Modelli Fondamentali Video
UniVBench: Towards Unified Evaluation for Video Foundation Models
February 25, 2026
Autori: Jianhui Wei, Xiaotian Zhang, Yichen Li, Yuan Wang, Yan Zhang, Ziyi Chen, Zhihang Tang, Wei Xu, Zuozhu Liu
cs.AI
Abstract
I modelli foundation video mirano a integrare comprensione, generazione, editing e aderenza a istruzioni all'interno di un unico framework, rappresentando una direzione centrale per i sistemi multimodali di prossima generazione. Tuttavia, i benchmark di valutazione esistenti rimangono frammentati e limitati nella portata, in quanto ciascuno si concentra su un singolo compito, utilizza metriche specifiche per il compito e tipicamente impiega clip video brevi o semplici. Di conseguenza, non colgono le capacità unificate che questi modelli sono progettati per offrire.
Per colmare questa lacuna, introduciamo UniVBench, un benchmark progettato specificamente per valutare i modelli foundation video attraverso quattro abilità fondamentali: comprensione video, generazione video, editing video e un compito di nuova proposta, la ricostruzione video, che valuta quanto fedelmente un modello possa riprodurre contenuti video che ha incontrato. Il nostro benchmark espande sostanzialmente la complessità della valutazione incorporando 200 video di alta qualità, diversificati e multi-scena, ciascuno associato a descrizioni dettagliate, istruzioni di editing in formati multipli e immagini di riferimento. Tutti i video sono creati da esseri umani e convalidati attentamente, offrendo informazioni cinematiche più ricche rispetto ai benchmark precedenti.
Inoltre, sviluppiamo un sistema di valutazione agentico unificato (UniV-Eval) che standardizza la generazione di prompt, l'analisi delle istruzioni e la valutazione su tutti i compiti, consentendo confronti equi, scalabili e riproducibili tra modelli video unificati. Basando la valutazione su compiti video multi-scena basati su istruzioni, UniVBench fornisce il primo framework per misurare le capacità integrate che i modelli foundation video mirano a raggiungere. Estese annotazioni umane garantiscono che la nostra valutazione sia allineata al giudizio umano, permettendo una valutazione rigorosa e accelerando il progresso verso un'intelligenza video robusta.
English
Video foundation models aim to integrate video understanding, generation, editing, and instruction following within a single framework, making them a central direction for next-generation multimodal systems. However, existing evaluation benchmarks remain fragmented and limited in scope, as they each target a single task, rely on task-specific metrics, and typically use short or simple video clips. As a result, they do not capture the unified capabilities that these models are designed to deliver. To address this gap, we introduce UniVBench, a benchmark purpose-built for evaluating video foundation models across four core abilities: video understanding, video generation, video editing, and a newly proposed task, video reconstruction, which assesses how faithfully a model can reproduce video content it has encountered. Our benchmark substantially expands the complexity of evaluation by incorporating 200 high-quality, diverse and multi-shot videos, each paired with detailed captions, multi-format editing instructions, and reference images. All videos are human-created and carefully validated, offering richer cinematic information than prior benchmarks. In addition, we develop a unified agentic evaluation system (UniV-Eval) that standardizes prompting, instruction parsing, and scoring across all tasks, enabling fair, scalable, and reproducible comparisons of unified video models. By grounding evaluation in instruction-based multi-shot video tasks, UniVBench provides the first framework for measuring the integrated capabilities that video foundation models aim to achieve. Extensive human annotations ensure our evaluation aligns with human judgment, enabling rigorous assessment and accelerating progress toward robust video intelligence.