UniVBench : Vers une évaluation unifiée pour les modèles fondamentaux vidéo
UniVBench: Towards Unified Evaluation for Video Foundation Models
February 25, 2026
papers.authors: Jianhui Wei, Xiaotian Zhang, Yichen Li, Yuan Wang, Yan Zhang, Ziyi Chen, Zhihang Tang, Wei Xu, Zuozhu Liu
cs.AI
papers.abstract
Les modèles vidéo fondamentaux visent à intégrer la compréhension, la génération, l'édition vidéo et le suivi d'instructions dans un cadre unique, ce qui en fait une orientation centrale pour les systèmes multimodaux de nouvelle génération. Cependant, les benchmarks d'évaluation existants restent fragmentés et limités en portée, car chacun cible une tâche unique, repose sur des métriques spécifiques et utilise généralement des clips vidéo courts ou simples. Par conséquent, ils ne capturent pas les capacités unifiées que ces modèles sont conçus pour offrir. Pour combler cette lacune, nous présentons UniVBench, un benchmark spécialement conçu pour évaluer les modèles vidéo fondamentaux selon quatre capacités principales : la compréhension vidéo, la génération vidéo, l'édition vidéo et une nouvelle tâche proposée, la reconstruction vidéo, qui évalue la fidélité avec laquelle un modèle peut reproduire le contenu vidéo qu'il a rencontré. Notre benchmark étend considérablement la complexité de l'évaluation en incorporant 200 vidéos de haute qualité, diversifiées et multi-plans, chacune étant associée à des descriptions détaillées, des instructions d'édition multi-formats et des images de référence. Toutes les vidéos sont créées par des humains et soigneusement validées, offrant des informations cinématographiques plus riches que les benchmarks antérieurs. De plus, nous développons un système d'évaluation agentique unifié (UniV-Eval) qui standardise le promptage, l'analyse des instructions et la notation pour toutes les tâches, permettant des comparaisons équitables, évolutives et reproductibles des modèles vidéo unifiés. En ancrant l'évaluation dans des tâches vidéo multi-plans basées sur des instructions, UniVBench fournit le premier cadre pour mesurer les capacités intégrées que les modèles vidéo fondamentaux visent à atteindre. Des annotations humaines approfondies garantissent que notre évaluation s'aligne sur le jugement humain, permettant une évaluation rigoureuse et accélérant les progrès vers une intelligence vidéo robuste.
English
Video foundation models aim to integrate video understanding, generation, editing, and instruction following within a single framework, making them a central direction for next-generation multimodal systems. However, existing evaluation benchmarks remain fragmented and limited in scope, as they each target a single task, rely on task-specific metrics, and typically use short or simple video clips. As a result, they do not capture the unified capabilities that these models are designed to deliver. To address this gap, we introduce UniVBench, a benchmark purpose-built for evaluating video foundation models across four core abilities: video understanding, video generation, video editing, and a newly proposed task, video reconstruction, which assesses how faithfully a model can reproduce video content it has encountered. Our benchmark substantially expands the complexity of evaluation by incorporating 200 high-quality, diverse and multi-shot videos, each paired with detailed captions, multi-format editing instructions, and reference images. All videos are human-created and carefully validated, offering richer cinematic information than prior benchmarks. In addition, we develop a unified agentic evaluation system (UniV-Eval) that standardizes prompting, instruction parsing, and scoring across all tasks, enabling fair, scalable, and reproducible comparisons of unified video models. By grounding evaluation in instruction-based multi-shot video tasks, UniVBench provides the first framework for measuring the integrated capabilities that video foundation models aim to achieve. Extensive human annotations ensure our evaluation aligns with human judgment, enabling rigorous assessment and accelerating progress toward robust video intelligence.