ViDiC: 映像差分キャプショニング
ViDiC: Video Difference Captioning
December 3, 2025
著者: Jiangtao Wu, Shihao Li, Zhaozhou Bian, Yuanxing Zhang, Jialu Chen, Runzhe Wen, An Ping, Yiwen He, Jiakai Wang, Jiaheng Liu
cs.AI
要旨
動的なシーン間の視覚的差異を理解するには、構成的・空間的・時間的変化の比較的知覚が必要であり、この能力は既存の視覚言語システムでは未だ十分に探究されていない。従来の画像差分キャプショニング（IDC）研究では、静止画像間の意味的変化を記述するモデルが開発されてきたが、これらの手法は時間経過に伴う動作の連続性、イベントの推移、編集の一貫性を捉えることができない。本研究では、ViDiC（ビデオ差分キャプショニング）タスクと対応するViDiC-1Kデータセットを提案する。これらは、マルチモーダル大規模言語モデル（MLLM）がビデオペア間の類似点と相違点を細粒度で記述する能力を評価するために設計されている。ViDiC-1Kは1,000組の精選されたビデオペアで構成され、被写体、スタイル、背景、撮影技法、動作、場所、再生技術の7カテゴリにわたる4,000以上の比較チェック項目が注釈付けされている。信頼性の高い評価を確保するため、LLM-as-a-Judgeプロトコルに基づき、類似性と差異の精度を個別に測定する二重チェックリスト枠組みを提案する。19の代表的なマルチモーダルモデルを用いた実験により、これらのモデルの比較記述能力と差異知覚能力に有意な性能差が存在することが明らかになった。ViDiC-1Kが、マルチモーダル知能におけるビデオ理解、編集認識、比較推論の進展に堅固な基盤を提供する挑戦的なベンチマークとなることを期待する。
English
Understanding visual differences between dynamic scenes requires the comparative perception of compositional, spatial, and temporal changes--a capability that remains underexplored in existing vision-language systems. While prior work on Image Difference Captioning (IDC) has enabled models to describe semantic changes between static images, these approaches fail to capture motion continuity, event evolution, or editing consistency over time. We introduce the ViDiC (Video Difference Captioning) task and its corresponding ViDiC-1K dataset, designed to evaluate the ability of Multimodal Large Language Models (MLLMs) to provide fine-grained descriptions of similarities and differences between video pairs. ViDiC-1K comprises 1,000 curated video pairs annotated with over 4,000 comparative checklist items, covering seven categories: subject, style, background, cinematography, motion, location, and playback techniques. To ensure reliable evaluation, we propose a dual-checklist framework that measures the accuracy of similarity and difference separately, based on the LLM-as-a-Judge protocol. Experiments on nineteen representative multimodal models reveal a significant performance gap in their comparative description and difference perception abilities. We hope ViDiC-1K can be a challenging benchmark that lays a solid foundation for advancing video understanding, edit awareness, and comparative reasoning in multimodal intelligence.