ViDiC: Descrizione delle Differenze nei Video
ViDiC: Video Difference Captioning
December 3, 2025
Autori: Jiangtao Wu, Shihao Li, Zhaozhou Bian, Yuanxing Zhang, Jialu Chen, Runzhe Wen, An Ping, Yiwen He, Jiakai Wang, Jiaheng Liu
cs.AI
Abstract
Comprendere le differenze visive tra scene dinamiche richiede la percezione comparativa di cambiamenti compositivi, spaziali e temporali, una capacità che rimane poco esplorata nei sistemi esistenti di visione e linguaggio. Sebbene i precedenti lavori sull'Image Difference Captioning (IDC) abbiano consentito ai modelli di descrivere cambiamenti semantici tra immagini statiche, questi approcci non riescono a catturare la continuità del movimento, l'evoluzione degli eventi o la coerenza delle modifiche nel tempo. Introduciamo il task ViDiC (Video Difference Captioning) e il corrispondente dataset ViDiC-1K, progettati per valutare la capacità dei Modelli Linguistici Multimodali di Grande Dimensione (MLLM) di fornire descrizioni granulari delle somiglianze e differenze tra coppie di video. ViDiC-1K comprende 1.000 coppie di video selezionate, annotate con oltre 4.000 voci di checklist comparative, che coprono sette categorie: soggetto, stile, sfondo, cinematografia, movimento, location e tecniche di riproduzione. Per garantire una valutazione affidabile, proponiamo un framework a doppia checklist che misura separatamente l'accuratezza delle somiglianze e delle differenze, basato sul protocollo LLM-as-a-Judge. Esperimenti su diciannove modelli multimodali rappresentativi rivelano un divario prestazionale significativo nelle loro capacità di descrizione comparativa e percezione delle differenze. Speriamo che ViDiC-1K possa essere un benchmark impegnativo che getti solide basi per far progredire la comprensione video, la consapevolezza delle modifiche e il ragionamento comparativo nell'intelligenza multimodale.
English
Understanding visual differences between dynamic scenes requires the comparative perception of compositional, spatial, and temporal changes--a capability that remains underexplored in existing vision-language systems. While prior work on Image Difference Captioning (IDC) has enabled models to describe semantic changes between static images, these approaches fail to capture motion continuity, event evolution, or editing consistency over time. We introduce the ViDiC (Video Difference Captioning) task and its corresponding ViDiC-1K dataset, designed to evaluate the ability of Multimodal Large Language Models (MLLMs) to provide fine-grained descriptions of similarities and differences between video pairs. ViDiC-1K comprises 1,000 curated video pairs annotated with over 4,000 comparative checklist items, covering seven categories: subject, style, background, cinematography, motion, location, and playback techniques. To ensure reliable evaluation, we propose a dual-checklist framework that measures the accuracy of similarity and difference separately, based on the LLM-as-a-Judge protocol. Experiments on nineteen representative multimodal models reveal a significant performance gap in their comparative description and difference perception abilities. We hope ViDiC-1K can be a challenging benchmark that lays a solid foundation for advancing video understanding, edit awareness, and comparative reasoning in multimodal intelligence.