Artifact-Bench: оценка MLLMs на предмет обнаружения и оценки артефактов AI-сгенерированных видео

Аннотация

Последние модели генерации видео значительно улучшили реалистичность видеоматериалов, созданных с помощью ИИ, однако их выходные данные всё ещё содержат артефакты, такие как временные несоответствия, структурные искажения и семантическая несогласованность. Хотя мультимодальные большие языковые модели (MLLM) демонстрируют высокие способности к визуальному восприятию, их умение замечать и анализировать подобные артефакты остаётся неясным. Существующие бенчмарки часто не включают систематической оценки восприятия артефактов и детальной диагностической аргументации, особенно в различных областях видеоматериалов, созданных ИИ, выходящих за рамки фотореалистичного контента. Для восполнения этого пробела мы представляем Artifact-Bench — всесторонний бенчмарк для оценки MLLM на предмет обнаружения и анализа артефактов в видео, сгенерированных ИИ. Сначала мы создаём иерархическую таксономию артефактов реалистичности трёх уровней, охватывающую фотореалистичные, анимированные видео и видео в стиле компьютерной графики. Основываясь на этой таксономии, Artifact-Bench определяет три взаимодополняющие задачи: классификацию реальных и сгенерированных ИИ видео, попарное сравнение реалистичности и детальное выявление артефактов. Эксперименты с 19 ведущими MLLM выявляют существенные ограничения в восприятии и анализе артефактов: многие модели показывают результаты, близкие к случайным или даже ниже случайных, в сложных сценариях. Кроме того, мы наблюдаем значительное несоответствие между оценками MLLM и предпочтениями человека в восприятии, что подчёркивает их ограниченную надёжность в качестве универсальных оценщиков реалистичности видео, созданных ИИ.

English

Recent video generative models have greatly improved the realism of AI-generated videos, yet their outputs still exhibit artifacts such as temporal inconsistencies, structural distortions, and semantic incoherence. While Multimodal Large Language Models (MLLMs) show strong visual understanding capabilities, their ability to perceive and reason about such artifacts remains unclear. Existing benchmarks often lack systematic evaluation of artifact-aware perception and fine-grained diagnostic reasoning, especially across diverse AI-generated video domains beyond photorealistic content. To address this gap, we introduce Artifact-Bench, a comprehensive benchmark for evaluating MLLMs on AI-generated video artifact detection and analysis. We first establish a three-level hierarchical taxonomy of realism artifacts, covering photorealistic, animated, and CG-style videos. Based on this taxonomy, Artifact-Bench defines three complementary tasks: real vs. AI-generated video classification, pairwise realism comparison, and fine-grained artifact identification. Experiments on 19 leading MLLMs reveal substantial limitations in artifact perception and reasoning, with many models approaching random or even below-random performance in challenging settings. We further observe significant misalignment between MLLM judgments and human perceptual preferences, highlighting their limited reliability as general evaluators for AI-generated video realism.