Wann und Was: Diffusion-basiertes VideoLLM mit entitätsbewusster Segmentierung für das Verständnis langer Videos

When and What: Diffusion-Grounded VideoLLM with Entity Aware Segmentation for Long Video Understanding

August 21, 2025

papers.authors: Pengcheng Fang, Yuxia Chen, Rui Guo

cs.AI

papers.abstract

Das Verständnis von Videos erfordert mehr als die Beantwortung offener Fragen; es verlangt die Fähigkeit, genau zu bestimmen, wann Ereignisse stattfinden und wie Entitäten über die Zeit hinweg interagieren. Während neuere Video-LLMs bemerkenswerte Fortschritte im ganzheitlichen Denken erzielt haben, bleiben sie in der zeitlichen Wahrnehmung grob: Zeitstempel werden nur implizit kodiert, Frame-Level-Merkmale sind schwach in der Erfassung von Kontinuität, und die Ausrichtung von Sprache und Vision driftet oft von den relevanten Entitäten ab. In diesem Artikel stellen wir Grounded VideoDiT vor, ein Video-LLM, das entwickelt wurde, um diese Einschränkungen durch drei Schlüsselinnovationen zu überwinden. Erstens verbessert ein Diffusion Temporal Latent (DTL)-Encoder die Grenzempfindlichkeit und bewahrt die zeitliche Konsistenz. Zweitens binden objektbezogene Darstellungen Abfrageentitäten explizit an lokalisierte visuelle Beweise, was die Ausrichtung stärkt. Drittens ermöglicht ein gemischtes Token-Schema mit diskreten zeitlichen Token eine explizite Zeitstempelmodellierung, die eine feinkörnige zeitliche Argumentation ermöglicht. Zusammen statten diese Entwürfe Grounded VideoDiT mit robusten Verankerungsfähigkeiten aus, wie durch Spitzenergebnisse auf Charades STA, NExT GQA und mehreren VideoQA-Benchmarks bestätigt wird.

English

Understanding videos requires more than answering open ended questions, it demands the ability to pinpoint when events occur and how entities interact across time. While recent Video LLMs have achieved remarkable progress in holistic reasoning, they remain coarse in temporal perception: timestamps are encoded only implicitly, frame level features are weak in capturing continuity, and language vision alignment often drifts from the entities of interest. In this paper, we present Grounded VideoDiT, a Video LLM designed to overcome these limitations by introducing three key innovations. First, a Diffusion Temporal Latent (DTL) encoder enhances boundary sensitivity and maintains temporal consistency. Second, object grounded representations explicitly bind query entities to localized visual evidence, strengthening alignment. Third, a mixed token scheme with discrete temporal tokens provides explicit timestamp modeling, enabling fine grained temporal reasoning. Together, these designs equip Grounded VideoDiT with robust grounding capabilities, as validated by state of the art results on Charades STA, NExT GQA, and multiple VideoQA benchmarks.