Quand et Quoi : VideoLLM basé sur la diffusion avec segmentation consciente des entités pour la compréhension de vidéos longues

When and What: Diffusion-Grounded VideoLLM with Entity Aware Segmentation for Long Video Understanding

August 21, 2025

papers.authors: Pengcheng Fang, Yuxia Chen, Rui Guo

cs.AI

papers.abstract

Comprendre les vidéos va au-delà de la simple réponse à des questions ouvertes ; cela exige la capacité d'identifier précisément quand les événements se produisent et comment les entités interagissent au fil du temps. Bien que les modèles de langage vidéo (Video LLMs) récents aient réalisé des progrès remarquables en matière de raisonnement holistique, ils restent limités dans leur perception temporelle : les horodatages sont encodés de manière implicite, les caractéristiques au niveau des images sont faibles pour capturer la continuité, et l'alignement entre le langage et la vision dérive souvent des entités d'intérêt. Dans cet article, nous présentons Grounded VideoDiT, un Video LLM conçu pour surmonter ces limitations grâce à trois innovations clés. Premièrement, un encodeur de latence temporelle par diffusion (Diffusion Temporal Latent, DTL) améliore la sensibilité aux limites et maintient la cohérence temporelle. Deuxièmement, des représentations ancrées sur les objets lient explicitement les entités interrogées à des preuves visuelles localisées, renforçant ainsi l'alignement. Troisièmement, un schéma de tokens mixtes avec des tokens temporels discrets permet une modélisation explicite des horodatages, favorisant un raisonnement temporel fin. Ensemble, ces conceptions dotent Grounded VideoDiT de capacités d'ancrage robustes, comme en témoignent les résultats de pointe obtenus sur Charades STA, NExT GQA et plusieurs benchmarks de question-réponse vidéo (VideoQA).

English

Understanding videos requires more than answering open ended questions, it demands the ability to pinpoint when events occur and how entities interact across time. While recent Video LLMs have achieved remarkable progress in holistic reasoning, they remain coarse in temporal perception: timestamps are encoded only implicitly, frame level features are weak in capturing continuity, and language vision alignment often drifts from the entities of interest. In this paper, we present Grounded VideoDiT, a Video LLM designed to overcome these limitations by introducing three key innovations. First, a Diffusion Temporal Latent (DTL) encoder enhances boundary sensitivity and maintains temporal consistency. Second, object grounded representations explicitly bind query entities to localized visual evidence, strengthening alignment. Third, a mixed token scheme with discrete temporal tokens provides explicit timestamp modeling, enabling fine grained temporal reasoning. Together, these designs equip Grounded VideoDiT with robust grounding capabilities, as validated by state of the art results on Charades STA, NExT GQA, and multiple VideoQA benchmarks.