UniVBench: Auf dem Weg zu einer einheitlichen Bewertung von Video-Foundation-Modellen
UniVBench: Towards Unified Evaluation for Video Foundation Models
February 25, 2026
papers.authors: Jianhui Wei, Xiaotian Zhang, Yichen Li, Yuan Wang, Yan Zhang, Ziyi Chen, Zhihang Tang, Wei Xu, Zuozhu Liu
cs.AI
papers.abstract
Video-Foundation-Modelle zielen darauf ab, Videoverständnis, -generierung, -bearbeitung und Befolgung von Anweisungen in einem einzigen Framework zu integrieren, was sie zu einer zentralen Richtung für die nächste Generation multimodaler Systeme macht. Bisherige Evaluierungsbenchmarks sind jedoch fragmentiert und in ihrem Umfang begrenzt, da sie jeweils auf eine einzelne Aufgabe ausgerichtet sind, auf aufgabenspezifischen Metriken basieren und typischerweise kurze oder einfache Videoclips verwenden. Infolgedessen erfassen sie nicht die vereinheitlichten Fähigkeiten, die diese Modelle liefern sollen. Um diese Lücke zu schließen, stellen wir UniVBench vor, einen Benchmark, der speziell für die Bewertung von Video-Foundation-Modellen über vier Kernfähigkeiten entwickelt wurde: Videoverständnis, Videogenerierung, Videobearbeitung und eine neu vorgeschlagene Aufgabe, die Videorekonstruktion, die bewertet, wie genau ein Modell aufgenommenes Videomaterial reproduzieren kann. Unser Benchmark erweitert die Komplexität der Evaluation erheblich, indem er 200 hochwertige, vielfältige Videos mit mehreren Einstellungen integriert, die jeweils mit detaillierten Beschreibungen, Bearbeitungsanweisungen in verschiedenen Formaten und Referenzbildern versehen sind. Alle Videos sind von Menschen erstellt und sorgfältig validiert, wodurch sie reichere filmische Informationen bieten als bisherige Benchmarks. Zusätzlich entwickeln wir ein vereinheitlichtes agentenbasiertes Evaluierungssystem (UniV-Eval), das die Prompt-Formulierung, Anweisungsverarbeitung und Bewertung über alle Aufgaben hinweg standardisiert und so faire, skalierbare und reproduzierbare Vergleiche von vereinheitlichten Videomodellen ermöglicht. Indem die Evaluation auf instruktionsbasierten Aufgaben mit mehreren Einstellungen basiert, bietet UniVBench den ersten Rahmen zur Messung der integrierten Fähigkeiten, die Video-Foundation-Modelle anstreben. Umfangreiche menschliche Annotationen stellen sicher, dass unsere Bewertung mit der menschlichen Urteilskraft übereinstimmt, was eine rigorose Beurteilung ermöglicht und den Fortschritt hin zu robuster Video-Intelligenz beschleunigt.
English
Video foundation models aim to integrate video understanding, generation, editing, and instruction following within a single framework, making them a central direction for next-generation multimodal systems. However, existing evaluation benchmarks remain fragmented and limited in scope, as they each target a single task, rely on task-specific metrics, and typically use short or simple video clips. As a result, they do not capture the unified capabilities that these models are designed to deliver. To address this gap, we introduce UniVBench, a benchmark purpose-built for evaluating video foundation models across four core abilities: video understanding, video generation, video editing, and a newly proposed task, video reconstruction, which assesses how faithfully a model can reproduce video content it has encountered. Our benchmark substantially expands the complexity of evaluation by incorporating 200 high-quality, diverse and multi-shot videos, each paired with detailed captions, multi-format editing instructions, and reference images. All videos are human-created and carefully validated, offering richer cinematic information than prior benchmarks. In addition, we develop a unified agentic evaluation system (UniV-Eval) that standardizes prompting, instruction parsing, and scoring across all tasks, enabling fair, scalable, and reproducible comparisons of unified video models. By grounding evaluation in instruction-based multi-shot video tasks, UniVBench provides the first framework for measuring the integrated capabilities that video foundation models aim to achieve. Extensive human annotations ensure our evaluation aligns with human judgment, enabling rigorous assessment and accelerating progress toward robust video intelligence.