ViDiC: Subtitulado de Diferencias en Video
ViDiC: Video Difference Captioning
December 3, 2025
Autores: Jiangtao Wu, Shihao Li, Zhaozhou Bian, Yuanxing Zhang, Jialu Chen, Runzhe Wen, An Ping, Yiwen He, Jiakai Wang, Jiaheng Liu
cs.AI
Resumen
Comprender las diferencias visuales entre escenas dinámicas requiere la percepción comparativa de cambios compositivos, espaciales y temporales, una capacidad que sigue estando poco explorada en los sistemas de visión y lenguaje existentes. Si bien trabajos previos sobre la Descripción de Diferencias en Imágenes (IDC) han permitido a los modelos describir cambios semánticos entre imágenes estáticas, estos enfoques no logran capturar la continuidad del movimiento, la evolución de eventos o la coherencia de edición a lo largo del tiempo. Presentamos la tarea ViDiC (Descripción de Diferencias en Video) y su conjunto de datos correspondiente, ViDiC-1K, diseñado para evaluar la capacidad de los Modelos de Lenguaje Grandes Multimodales (MLLMs) para proporcionar descripciones detalladas de similitudes y diferencias entre pares de videos. ViDiC-1K comprende 1,000 pares de videos seleccionados y anotados con más de 4,000 ítems de listas de verificación comparativas, que cubren siete categorías: sujeto, estilo, fondo, cinematografía, movimiento, ubicación y técnicas de reproducción. Para garantizar una evaluación confiable, proponemos un marco de doble lista de verificación que mide la precisión de similitudes y diferencias por separado, basado en el protocolo LLM-como-Juez. Los experimentos con diecinueve modelos multimodales representativos revelan una brecha de rendimiento significativa en sus capacidades de descripción comparativa y percepción de diferencias. Esperamos que ViDiC-1K pueda ser un punto de referencia desafiante que siente una base sólida para avanzar en la comprensión de videos, la conciencia de la edición y el razonamiento comparativo en la inteligencia multimodal.
English
Understanding visual differences between dynamic scenes requires the comparative perception of compositional, spatial, and temporal changes--a capability that remains underexplored in existing vision-language systems. While prior work on Image Difference Captioning (IDC) has enabled models to describe semantic changes between static images, these approaches fail to capture motion continuity, event evolution, or editing consistency over time. We introduce the ViDiC (Video Difference Captioning) task and its corresponding ViDiC-1K dataset, designed to evaluate the ability of Multimodal Large Language Models (MLLMs) to provide fine-grained descriptions of similarities and differences between video pairs. ViDiC-1K comprises 1,000 curated video pairs annotated with over 4,000 comparative checklist items, covering seven categories: subject, style, background, cinematography, motion, location, and playback techniques. To ensure reliable evaluation, we propose a dual-checklist framework that measures the accuracy of similarity and difference separately, based on the LLM-as-a-Judge protocol. Experiments on nineteen representative multimodal models reveal a significant performance gap in their comparative description and difference perception abilities. We hope ViDiC-1K can be a challenging benchmark that lays a solid foundation for advancing video understanding, edit awareness, and comparative reasoning in multimodal intelligence.