Quando e Cosa: VideoLLM basato su diffusione con segmentazione consapevole delle entità per la comprensione di video lunghi

When and What: Diffusion-Grounded VideoLLM with Entity Aware Segmentation for Long Video Understanding

August 21, 2025

Autori: Pengcheng Fang, Yuxia Chen, Rui Guo

cs.AI

Abstract

Comprendere i video richiede più che rispondere a domande aperte; necessita della capacità di individuare quando si verificano gli eventi e come le entità interagiscono nel tempo. Sebbene i recenti Video LLM abbiano compiuto progressi notevoli nel ragionamento olistico, rimangono approssimativi nella percezione temporale: i timestamp sono codificati solo implicitamente, le caratteristiche a livello di frame sono deboli nel catturare la continuità, e l'allineamento tra linguaggio e visione spesso si discosta dalle entità di interesse. In questo articolo, presentiamo Grounded VideoDiT, un Video LLM progettato per superare queste limitazioni attraverso tre innovazioni chiave. Innanzitutto, un encoder Diffusion Temporal Latent (DTL) migliora la sensibilità ai confini e mantiene la coerenza temporale. In secondo luogo, rappresentazioni basate su oggetti legano esplicitamente le entità interrogate a evidenze visive localizzate, rafforzando l'allineamento. Terzo, uno schema di token misti con token temporali discreti fornisce una modellizzazione esplicita dei timestamp, consentendo un ragionamento temporale fine. Insieme, questi design dotano Grounded VideoDiT di robuste capacità di grounding, come dimostrato dai risultati all'avanguardia su Charades STA, NExT GQA e su molteplici benchmark di VideoQA.

English

Understanding videos requires more than answering open ended questions, it demands the ability to pinpoint when events occur and how entities interact across time. While recent Video LLMs have achieved remarkable progress in holistic reasoning, they remain coarse in temporal perception: timestamps are encoded only implicitly, frame level features are weak in capturing continuity, and language vision alignment often drifts from the entities of interest. In this paper, we present Grounded VideoDiT, a Video LLM designed to overcome these limitations by introducing three key innovations. First, a Diffusion Temporal Latent (DTL) encoder enhances boundary sensitivity and maintains temporal consistency. Second, object grounded representations explicitly bind query entities to localized visual evidence, strengthening alignment. Third, a mixed token scheme with discrete temporal tokens provides explicit timestamp modeling, enabling fine grained temporal reasoning. Together, these designs equip Grounded VideoDiT with robust grounding capabilities, as validated by state of the art results on Charades STA, NExT GQA, and multiple VideoQA benchmarks.