Artifact-Bench: Evaluatie van MLLMs voor de detectie en beoordeling van artefacten in AI-gegenereerde video's

Samenvatting

Recente videogeneratieve modellen hebben de realiteitszin van door AI gegenereerde video's aanzienlijk verbeterd, maar hun uitvoer vertoont nog steeds artefacten zoals temporele inconsistenties, structurele vervormingen en semantische incoherentie. Hoewel multimodale grote taalmodellen (MLLM's) sterke visuele begripsmogelijkheden laten zien, blijft hun vermogen om dergelijke artefacten waar te nemen en erover te redeneren onduidelijk. Bestaande benchmarks ontberen vaak een systematische evaluatie van artefactbewuste perceptie en gedetailleerde diagnostische redenering, vooral over diverse door AI gegenereerde videodomeinen heen, verder dan fotorealistische inhoud. Om deze hiaat te vullen introduceren we Artifact-Bench, een uitgebreide benchmark voor het evalueren van MLLM's op het gebied van detectie en analyse van artefacten in door AI gegenereerde video's. Eerst stellen we een drie niveaus tellende hiërarchische taxonomie van realiteitsartefacten op, die fotorealistische, geanimeerde en CG-stijl video's omvat. Op basis van deze taxonomie definieert Artifact-Bench drie complementaire taken: classificatie van echte versus door AI gegenereerde video's, paarsgewijze realiteitsvergelijking en gedetailleerde artefactidentificatie. Experimenten met 19 toonaangevende MLLM's tonen aanzienlijke beperkingen aan in artefactperceptie en -redenering, waarbij veel modellen in uitdagende omgevingen prestaties benaderen die willekeurig of zelfs onder willekeurig niveau liggen. Verder constateren we een aanzienlijke discrepantie tussen de oordelen van MLLM's en menselijke perceptuele voorkeuren, wat hun beperkte betrouwbaarheid als algemene evaluatoren voor de realiteitszin van door AI gegenereerde video's benadrukt.

English

Recent video generative models have greatly improved the realism of AI-generated videos, yet their outputs still exhibit artifacts such as temporal inconsistencies, structural distortions, and semantic incoherence. While Multimodal Large Language Models (MLLMs) show strong visual understanding capabilities, their ability to perceive and reason about such artifacts remains unclear. Existing benchmarks often lack systematic evaluation of artifact-aware perception and fine-grained diagnostic reasoning, especially across diverse AI-generated video domains beyond photorealistic content. To address this gap, we introduce Artifact-Bench, a comprehensive benchmark for evaluating MLLMs on AI-generated video artifact detection and analysis. We first establish a three-level hierarchical taxonomy of realism artifacts, covering photorealistic, animated, and CG-style videos. Based on this taxonomy, Artifact-Bench defines three complementary tasks: real vs. AI-generated video classification, pairwise realism comparison, and fine-grained artifact identification. Experiments on 19 leading MLLMs reveal substantial limitations in artifact perception and reasoning, with many models approaching random or even below-random performance in challenging settings. We further observe significant misalignment between MLLM judgments and human perceptual preferences, highlighting their limited reliability as general evaluators for AI-generated video realism.