ViDiC: Videounterschiedsbeschreibung
ViDiC: Video Difference Captioning
December 3, 2025
papers.authors: Jiangtao Wu, Shihao Li, Zhaozhou Bian, Yuanxing Zhang, Jialu Chen, Runzhe Wen, An Ping, Yiwen He, Jiakai Wang, Jiaheng Liu
cs.AI
papers.abstract
Das Verständnis visueller Unterschiede zwischen dynamischen Szenen erfordert die vergleichende Wahrnehmung kompositioneller, räumlicher und zeitlicher Veränderungen – eine Fähigkeit, die in bestehenden Vision-Language-Systemen bisher kaum erforscht ist. Während frühere Arbeiten zur Bilddifferenzbeschreibung (Image Difference Captioning, IDC) Modelle in die Lage versetzten, semantische Veränderungen zwischen statischen Bildern zu beschreiben, erfassen diese Ansätze keine Bewegungskontinuität, Ereignisentwicklung oder Bearbeitungskonsistenz über die Zeit. Wir stellen die Aufgabe ViDiC (Video Difference Captioning) und den entsprechenden ViDiC-1K-Datensatz vor, der entwickelt wurde, um die Fähigkeit multimodaler Large Language Models (MLLMs) zu evaluieren, feingranulare Beschreibungen von Ähnlichkeiten und Unterschieden zwischen Video-Paaren zu liefern. ViDiC-1K umfasst 1.000 kuratierte Video-Paare mit über 4.000 annotierten Vergleichs-Checklisteneinträgen, die sieben Kategorien abdecken: Subjekt, Stil, Hintergrund, Kameraarbeit, Bewegung, Ort und Wiedergabetechniken. Um eine zuverlässige Evaluation zu gewährleisten, schlagen wir einen Dual-Checklist-Rahmen vor, der die Genauigkeit von Ähnlichkeiten und Unterschieden separat auf Basis des LLM-as-a-Judge-Protokolls misst. Experimente mit neunzehn repräsentativen multimodalen Modellen zeigen eine signifikante Leistungslücke in ihren vergleichenden Beschreibungs- und Differenzwahrnehmungsfähigkeiten. Wir hoffen, dass ViDiC-1K als anspruchsvoller Benchmark eine solide Grundlage für Fortschritte im Video-Verständnis, Bearbeitungserkennung und vergleichendem Schließen in multimodaler Intelligenz legen kann.
English
Understanding visual differences between dynamic scenes requires the comparative perception of compositional, spatial, and temporal changes--a capability that remains underexplored in existing vision-language systems. While prior work on Image Difference Captioning (IDC) has enabled models to describe semantic changes between static images, these approaches fail to capture motion continuity, event evolution, or editing consistency over time. We introduce the ViDiC (Video Difference Captioning) task and its corresponding ViDiC-1K dataset, designed to evaluate the ability of Multimodal Large Language Models (MLLMs) to provide fine-grained descriptions of similarities and differences between video pairs. ViDiC-1K comprises 1,000 curated video pairs annotated with over 4,000 comparative checklist items, covering seven categories: subject, style, background, cinematography, motion, location, and playback techniques. To ensure reliable evaluation, we propose a dual-checklist framework that measures the accuracy of similarity and difference separately, based on the LLM-as-a-Judge protocol. Experiments on nineteen representative multimodal models reveal a significant performance gap in their comparative description and difference perception abilities. We hope ViDiC-1K can be a challenging benchmark that lays a solid foundation for advancing video understanding, edit awareness, and comparative reasoning in multimodal intelligence.