ViDiC : Légendage des Différences Vidéo
ViDiC: Video Difference Captioning
December 3, 2025
papers.authors: Jiangtao Wu, Shihao Li, Zhaozhou Bian, Yuanxing Zhang, Jialu Chen, Runzhe Wen, An Ping, Yiwen He, Jiakai Wang, Jiaheng Liu
cs.AI
papers.abstract
Comprendre les différences visuelles entre scènes dynamiques nécessite la perception comparative des changements compositionnels, spatiaux et temporels - une capacité qui reste sous-explorée dans les systèmes vision-langage existants. Si les travaux antérieurs sur la description des différences d'images (IDC) ont permis aux modèles de décrire les changements sémantiques entre images statiques, ces approches échouent à capturer la continuité du mouvement, l'évolution des événements ou la cohérence des modifications dans le temps. Nous introduisons la tâche ViDiC (Description des Différences Vidéo) et son jeu de données correspondant ViDiC-1K, conçu pour évaluer la capacité des Modèles de Langage Multimodaux de Grande Taille (MLLM) à fournir des descriptions granulaires des similarités et différences entre paires de vidéos. ViDiC-1K comprend 1 000 paires de vidéos sélectionnées annotées avec plus de 4 000 éléments de liste de contrôle comparative, couvrant sept catégories : sujet, style, arrière-plan, cinématographie, mouvement, lieu et techniques de lecture. Pour garantir une évaluation fiable, nous proposons un cadre à double liste de contrôle qui mesure séparément la précision des similarités et des différences, basé sur le protocole LLM-comme-juge. Les expériences sur dix-neuf modèles multimodaux représentatifs révèlent un écart de performance significatif dans leurs capacités de description comparative et de perception des différences. Nous espérons que ViDiC-1K pourra constituer un benchmark exigeant jetant des bases solides pour faire progresser la compréhension vidéo, la conscience des modifications et le raisonnement comparatif dans l'intelligence multimodale.
English
Understanding visual differences between dynamic scenes requires the comparative perception of compositional, spatial, and temporal changes--a capability that remains underexplored in existing vision-language systems. While prior work on Image Difference Captioning (IDC) has enabled models to describe semantic changes between static images, these approaches fail to capture motion continuity, event evolution, or editing consistency over time. We introduce the ViDiC (Video Difference Captioning) task and its corresponding ViDiC-1K dataset, designed to evaluate the ability of Multimodal Large Language Models (MLLMs) to provide fine-grained descriptions of similarities and differences between video pairs. ViDiC-1K comprises 1,000 curated video pairs annotated with over 4,000 comparative checklist items, covering seven categories: subject, style, background, cinematography, motion, location, and playback techniques. To ensure reliable evaluation, we propose a dual-checklist framework that measures the accuracy of similarity and difference separately, based on the LLM-as-a-Judge protocol. Experiments on nineteen representative multimodal models reveal a significant performance gap in their comparative description and difference perception abilities. We hope ViDiC-1K can be a challenging benchmark that lays a solid foundation for advancing video understanding, edit awareness, and comparative reasoning in multimodal intelligence.