Artifact-Bench: Avaliando MLLMs na Detecção e Avaliação de Artefatos de Vídeos Gerados por IA

Resumo

Os recentes modelos geradores de vídeo melhoraram significativamente o realismo dos vídeos gerados por IA, porém suas saídas ainda apresentam artefatos como inconsistências temporais, distorções estruturais e incoerência semântica. Embora os Modelos Multimodais de Grande Linguagem (MLLMs) demonstrem forte capacidade de compreensão visual, sua habilidade de perceber e raciocinar sobre tais artefatos ainda não está clara. Os benchmarks existentes frequentemente carecem de uma avaliação sistemática da percepção consciente de artefatos e do raciocínio diagnóstico refinado, especialmente em domínios diversos de vídeos gerados por IA além de conteúdo fotorrealista. Para preencher essa lacuna, apresentamos o Artifact-Bench, um benchmark abrangente para avaliar MLLMs na detecção e análise de artefatos em vídeos gerados por IA. Primeiro, estabelecemos uma taxonomia hierárquica de três níveis para artefatos de realismo, abrangendo vídeos fotorrealistas, animados e em estilo CG. Com base nessa taxonomia, o Artifact-Bench define três tarefas complementares: classificação entre vídeo real e gerado por IA, comparação pareada de realismo e identificação refinada de artefatos. Experimentos com 19 MLLMs líderes revelam limitações substanciais na percepção e raciocínio sobre artefatos, com muitos modelos apresentando desempenho próximo ou até abaixo do aleatório em configurações desafiadoras. Observamos ainda um desalinhamento significativo entre os julgamentos dos MLLMs e as preferências perceptuais humanas, destacando sua confiabilidade limitada como avaliadores gerais do realismo de vídeos gerados por IA.

English

Recent video generative models have greatly improved the realism of AI-generated videos, yet their outputs still exhibit artifacts such as temporal inconsistencies, structural distortions, and semantic incoherence. While Multimodal Large Language Models (MLLMs) show strong visual understanding capabilities, their ability to perceive and reason about such artifacts remains unclear. Existing benchmarks often lack systematic evaluation of artifact-aware perception and fine-grained diagnostic reasoning, especially across diverse AI-generated video domains beyond photorealistic content. To address this gap, we introduce Artifact-Bench, a comprehensive benchmark for evaluating MLLMs on AI-generated video artifact detection and analysis. We first establish a three-level hierarchical taxonomy of realism artifacts, covering photorealistic, animated, and CG-style videos. Based on this taxonomy, Artifact-Bench defines three complementary tasks: real vs. AI-generated video classification, pairwise realism comparison, and fine-grained artifact identification. Experiments on 19 leading MLLMs reveal substantial limitations in artifact perception and reasoning, with many models approaching random or even below-random performance in challenging settings. We further observe significant misalignment between MLLM judgments and human perceptual preferences, highlighting their limited reliability as general evaluators for AI-generated video realism.