Когда и Что: ВидеоLLM с диффузионной основой и сегментацией с учетом сущностей для понимания длинных видео

When and What: Diffusion-Grounded VideoLLM with Entity Aware Segmentation for Long Video Understanding

August 21, 2025

Авторы: Pengcheng Fang, Yuxia Chen, Rui Guo

cs.AI

Аннотация

Понимание видео требует большего, чем просто ответы на открытые вопросы — оно требует способности точно определять, когда происходят события и как объекты взаимодействуют во времени. Хотя современные видеомодели на основе больших языковых моделей (Video LLMs) достигли значительного прогресса в целостном анализе, они остаются слабыми в восприятии временных аспектов: временные метки кодируются только неявно, признаки на уровне кадров слабо отражают непрерывность, а согласование языка и зрения часто отклоняется от интересующих объектов. В данной статье мы представляем Grounded VideoDiT — видеомодель, разработанную для преодоления этих ограничений с помощью трех ключевых инноваций. Во-первых, кодировщик Diffusion Temporal Latent (DTL) повышает чувствительность к границам событий и поддерживает временную согласованность. Во-вторых, объектно-ориентированные представления явно связывают запрашиваемые объекты с локализованными визуальными данными, укрепляя согласование. В-третьих, смешанная схема токенов с дискретными временными токенами обеспечивает явное моделирование временных меток, позволяя проводить детальный временной анализ. В совокупности эти решения наделяют Grounded VideoDiT мощными возможностями заземления, что подтверждается передовыми результатами на наборах данных Charades STA, NExT GQA и нескольких бенчмарках VideoQA.

English

Understanding videos requires more than answering open ended questions, it demands the ability to pinpoint when events occur and how entities interact across time. While recent Video LLMs have achieved remarkable progress in holistic reasoning, they remain coarse in temporal perception: timestamps are encoded only implicitly, frame level features are weak in capturing continuity, and language vision alignment often drifts from the entities of interest. In this paper, we present Grounded VideoDiT, a Video LLM designed to overcome these limitations by introducing three key innovations. First, a Diffusion Temporal Latent (DTL) encoder enhances boundary sensitivity and maintains temporal consistency. Second, object grounded representations explicitly bind query entities to localized visual evidence, strengthening alignment. Third, a mixed token scheme with discrete temporal tokens provides explicit timestamp modeling, enabling fine grained temporal reasoning. Together, these designs equip Grounded VideoDiT with robust grounding capabilities, as validated by state of the art results on Charades STA, NExT GQA, and multiple VideoQA benchmarks.