UniVBench: Rumo a uma Avaliação Unificada para Modelos Fundamentais de Vídeo
UniVBench: Towards Unified Evaluation for Video Foundation Models
February 25, 2026
Autores: Jianhui Wei, Xiaotian Zhang, Yichen Li, Yuan Wang, Yan Zhang, Ziyi Chen, Zhihang Tang, Wei Xu, Zuozhu Liu
cs.AI
Resumo
Os modelos de fundação de vídeo visam integrar compreensão, geração, edição e seguimento de instruções em vídeo dentro de um único framework, tornando-se uma direção central para os sistemas multimodais de próxima geração. No entanto, os benchmarks de avaliação existentes permanecem fragmentados e limitados em escopo, pois cada um foca em uma única tarefa, depende de métricas específicas por tarefa e geralmente utiliza clipes de vídeo curtos ou simples. Como resultado, eles não capturam as capacidades unificadas que esses modelos são projetados para entregar. Para abordar essa lacuna, introduzimos o UniVBench, um benchmark construído especificamente para avaliar modelos de fundação de vídeo em quatro habilidades centrais: compreensão de vídeo, geração de vídeo, edição de vídeo e uma nova tarefa proposta, a reconstrução de vídeo, que avalia quão fielmente um modelo pode reproduzir o conteúdo de vídeo que encontrou. Nosso benchmark expande substancialmente a complexidade da avaliação ao incorporar 200 vídeos diversos, de alta qualidade e com múltiplas tomadas, cada um acompanhado de legendas detalhadas, instruções de edição em múltiplos formatos e imagens de referência. Todos os vídeos são criados por humanos e cuidadosamente validados, oferecendo informações cinematográficas mais ricas do que benchmarks anteriores. Além disso, desenvolvemos um sistema de avaliação agentico unificado (UniV-Eval) que padroniza a elicitação de prompts, a análise de instruções e a pontuação em todas as tarefas, permitindo comparações justas, escaláveis e reproduzíveis de modelos de vídeo unificados. Ao fundamentar a avaliação em tarefas de vídeo com múltiplas tomadas baseadas em instruções, o UniVBench fornece o primeiro framework para medir as capacidades integradas que os modelos de fundação de vídeo visam alcançar. Anotações humanas extensivas garantem que nossa avaliação esteja alinhada com o julgamento humano, permitindo uma avaliação rigorosa e acelerando o progresso em direção a uma inteligência de vídeo robusta.
English
Video foundation models aim to integrate video understanding, generation, editing, and instruction following within a single framework, making them a central direction for next-generation multimodal systems. However, existing evaluation benchmarks remain fragmented and limited in scope, as they each target a single task, rely on task-specific metrics, and typically use short or simple video clips. As a result, they do not capture the unified capabilities that these models are designed to deliver. To address this gap, we introduce UniVBench, a benchmark purpose-built for evaluating video foundation models across four core abilities: video understanding, video generation, video editing, and a newly proposed task, video reconstruction, which assesses how faithfully a model can reproduce video content it has encountered. Our benchmark substantially expands the complexity of evaluation by incorporating 200 high-quality, diverse and multi-shot videos, each paired with detailed captions, multi-format editing instructions, and reference images. All videos are human-created and carefully validated, offering richer cinematic information than prior benchmarks. In addition, we develop a unified agentic evaluation system (UniV-Eval) that standardizes prompting, instruction parsing, and scoring across all tasks, enabling fair, scalable, and reproducible comparisons of unified video models. By grounding evaluation in instruction-based multi-shot video tasks, UniVBench provides the first framework for measuring the integrated capabilities that video foundation models aim to achieve. Extensive human annotations ensure our evaluation aligns with human judgment, enabling rigorous assessment and accelerating progress toward robust video intelligence.