Wanneer en Wat: Diffusion-Gegrond VideoLLM met Entiteitbewuste Segmentatie voor Langdurige Videobegrip

When and What: Diffusion-Grounded VideoLLM with Entity Aware Segmentation for Long Video Understanding

August 21, 2025

Auteurs: Pengcheng Fang, Yuxia Chen, Rui Guo

cs.AI

Samenvatting

Het begrijpen van video's vereist meer dan het beantwoorden van open vragen; het vereist het vermogen om precies te bepalen wanneer gebeurtenissen plaatsvinden en hoe entiteiten in de loop van de tijd met elkaar interageren. Hoewel recente Video LLM's opmerkelijke vooruitgang hebben geboekt in holistische redenering, blijven ze grof in temporele waarneming: tijdstempels worden alleen impliciet gecodeerd, frame-level kenmerken zijn zwak in het vastleggen van continuïteit, en de uitlijning tussen taal en visie wijkt vaak af van de entiteiten van belang. In dit artikel presenteren we Grounded VideoDiT, een Video LLM dat ontworpen is om deze beperkingen te overwinnen door drie belangrijke innovaties te introduceren. Ten eerste verbetert een Diffusion Temporal Latent (DTL) encoder de gevoeligheid voor grenzen en behoudt het temporele consistentie. Ten tweede binden objectgebaseerde representaties query-entiteiten expliciet aan gelokaliseerd visueel bewijs, waardoor de uitlijning wordt versterkt. Ten derde biedt een gemengd tokenschema met discrete temporele tokens expliciete tijdstempelmodellering, waardoor fijnmazige temporele redenering mogelijk wordt. Samen voorzien deze ontwerpen Grounded VideoDiT van robuuste grondingsmogelijkheden, zoals bevestigd door state-of-the-art resultaten op Charades STA, NExT GQA en meerdere VideoQA benchmarks.

English

Understanding videos requires more than answering open ended questions, it demands the ability to pinpoint when events occur and how entities interact across time. While recent Video LLMs have achieved remarkable progress in holistic reasoning, they remain coarse in temporal perception: timestamps are encoded only implicitly, frame level features are weak in capturing continuity, and language vision alignment often drifts from the entities of interest. In this paper, we present Grounded VideoDiT, a Video LLM designed to overcome these limitations by introducing three key innovations. First, a Diffusion Temporal Latent (DTL) encoder enhances boundary sensitivity and maintains temporal consistency. Second, object grounded representations explicitly bind query entities to localized visual evidence, strengthening alignment. Third, a mixed token scheme with discrete temporal tokens provides explicit timestamp modeling, enabling fine grained temporal reasoning. Together, these designs equip Grounded VideoDiT with robust grounding capabilities, as validated by state of the art results on Charades STA, NExT GQA, and multiple VideoQA benchmarks.