ViDiC: Videoverschilbeschrijving
ViDiC: Video Difference Captioning
December 3, 2025
Auteurs: Jiangtao Wu, Shihao Li, Zhaozhou Bian, Yuanxing Zhang, Jialu Chen, Runzhe Wen, An Ping, Yiwen He, Jiakai Wang, Jiaheng Liu
cs.AI
Samenvatting
Het begrijpen van visuele verschillen tussen dynamische scènes vereist de comparatieve waarneming van compositionele, ruimtelijke en temporele veranderingen – een capaciteit die in bestaande visie-taal-systemen onderbelicht blijft. Hoewel eerder onderzoek naar Image Difference Captioning (IDC) modellen in staat stelde om semantische veranderingen tussen statische afbeeldingen te beschrijven, slagen deze benaderingen er niet in om bewegingscontinuïteit, gebeurtenisevolutie of bewerkingsconsistentie in de tijd vast te leggen. Wij introduceren de ViDiC-taak (Video Difference Captioning) en de bijbehorende ViDiC-1K-dataset, die zijn ontworpen om het vermogen van Multimodale Large Language Models (MLLM's) te evalueren om gedetailleerde beschrijvingen te geven van overeenkomsten en verschillen tussen videoparen. ViDiC-1K omvat 1.000 gecureerde videoparen, geannoteerd met meer dan 4.000 comparatieve checklistitems, verdeeld over zeven categorieën: onderwerp, stijl, achtergrond, cinematografie, beweging, locatie en weergavetechnieken. Om een betrouwbare evaluatie te waarborgen, stellen we een dual-checklist raamwerk voor dat de nauwkeurigheid van overeenkomst en verschil afzonderlijk meet, gebaseerd op het LLM-as-a-Judge-protocol. Experimenten met negentien representatieve multimodale modellen onthullen een significante prestatiekloof in hun comparatieve beschrijvings- en verschilwaarnemingsvermogens. Wij hopen dat ViDiC-1K een uitdagende benchmark kan zijn die een solide basis legt voor de vooruitgang van videobegrip, bewerkingsbewustzijn en comparatief redeneren in multimodale intelligentie.
English
Understanding visual differences between dynamic scenes requires the comparative perception of compositional, spatial, and temporal changes--a capability that remains underexplored in existing vision-language systems. While prior work on Image Difference Captioning (IDC) has enabled models to describe semantic changes between static images, these approaches fail to capture motion continuity, event evolution, or editing consistency over time. We introduce the ViDiC (Video Difference Captioning) task and its corresponding ViDiC-1K dataset, designed to evaluate the ability of Multimodal Large Language Models (MLLMs) to provide fine-grained descriptions of similarities and differences between video pairs. ViDiC-1K comprises 1,000 curated video pairs annotated with over 4,000 comparative checklist items, covering seven categories: subject, style, background, cinematography, motion, location, and playback techniques. To ensure reliable evaluation, we propose a dual-checklist framework that measures the accuracy of similarity and difference separately, based on the LLM-as-a-Judge protocol. Experiments on nineteen representative multimodal models reveal a significant performance gap in their comparative description and difference perception abilities. We hope ViDiC-1K can be a challenging benchmark that lays a solid foundation for advancing video understanding, edit awareness, and comparative reasoning in multimodal intelligence.