Cuándo y Qué: VideoLLM Basado en Difusión con Segmentación Consciente de Entidades para la Comprensión de Videos Largos

When and What: Diffusion-Grounded VideoLLM with Entity Aware Segmentation for Long Video Understanding

August 21, 2025

Autores: Pengcheng Fang, Yuxia Chen, Rui Guo

cs.AI

Resumen

Comprender videos requiere más que responder preguntas abiertas; exige la capacidad de identificar cuándo ocurren los eventos y cómo interactúan las entidades a lo largo del tiempo. Si bien los modelos de lenguaje de video (Video LLMs) recientes han logrado avances notables en razonamiento holístico, siguen siendo imprecisos en la percepción temporal: las marcas de tiempo se codifican solo de manera implícita, las características a nivel de fotograma son débiles para capturar la continuidad, y la alineación entre lenguaje y visión a menudo se desvía de las entidades de interés. En este artículo, presentamos Grounded VideoDiT, un Video LLM diseñado para superar estas limitaciones mediante tres innovaciones clave. Primero, un codificador de latente temporal de difusión (Diffusion Temporal Latent, DTL) mejora la sensibilidad a los límites y mantiene la consistencia temporal. Segundo, las representaciones basadas en objetos vinculan explícitamente las entidades consultadas con evidencia visual localizada, fortaleciendo la alineación. Tercero, un esquema de tokens mixtos con tokens temporales discretos proporciona un modelado explícito de marcas de tiempo, permitiendo un razonamiento temporal de grano fino. En conjunto, estos diseños dotan a Grounded VideoDiT de capacidades robustas de anclaje, como lo validan los resultados de vanguardia en Charades STA, NExT GQA y múltiples benchmarks de VideoQA.

English

Understanding videos requires more than answering open ended questions, it demands the ability to pinpoint when events occur and how entities interact across time. While recent Video LLMs have achieved remarkable progress in holistic reasoning, they remain coarse in temporal perception: timestamps are encoded only implicitly, frame level features are weak in capturing continuity, and language vision alignment often drifts from the entities of interest. In this paper, we present Grounded VideoDiT, a Video LLM designed to overcome these limitations by introducing three key innovations. First, a Diffusion Temporal Latent (DTL) encoder enhances boundary sensitivity and maintains temporal consistency. Second, object grounded representations explicitly bind query entities to localized visual evidence, strengthening alignment. Third, a mixed token scheme with discrete temporal tokens provides explicit timestamp modeling, enabling fine grained temporal reasoning. Together, these designs equip Grounded VideoDiT with robust grounding capabilities, as validated by state of the art results on Charades STA, NExT GQA, and multiple VideoQA benchmarks.