TRACE: Temporele Verankering van Video's via Causaal Gebeurtenismodellering

TRACE: Temporal Grounding Video LLM via Causal Event Modeling

October 8, 2024

Auteurs: Yongxin Guo, Jingyu Liu, Mingda Li, Xiaoying Tang, Qingbin Liu, Xi Chen

cs.AI

Samenvatting

Video Temporal Grounding (VTG) is een cruciale capaciteit voor videomodellen voor begrip en speelt een vitale rol in downstream taken zoals video browsen en bewerken. Om verschillende taken effectief gelijktijdig aan te pakken en zero-shot voorspelling mogelijk te maken, is er een groeiende trend om videomodellen met taalmodellen op basis van video in te zetten voor VTG-taken. Echter, huidige videomodellen op basis van taalmodellen vertrouwen uitsluitend op natuurlijke taalgeneratie, wat hen het vermogen ontneemt om de duidelijke structuur die inherent is aan video's te modelleren, wat hun effectiviteit beperkt bij het aanpakken van VTG-taken. Om dit probleem aan te pakken, introduceert dit artikel eerst formeel een causaal gebeurtenismodel, dat video's voorstelt als sequenties van gebeurtenissen, en voorspelt de huidige gebeurtenis met behulp van eerdere gebeurtenissen, video-invoer en tekstuele instructies. Elke gebeurtenis bestaat uit drie componenten: tijdstempels, opvallende scores en tekstuele bijschriften. Vervolgens stellen we een nieuw taak-geïnterlinieerd videotaalmodel voor genaamd TRACE voor om het causale gebeurtenismodel in de praktijk effectief te implementeren. TRACE verwerkt visuele frames, tijdstempels, opvallende scores en tekst als afzonderlijke taken, waarbij verschillende encoders en decoderingskoppen voor elk worden gebruikt. Taaktokens worden gerangschikt in een geïnterlinieerde sequentie volgens de formulering van het causale gebeurtenismodel. Uitgebreide experimenten op verschillende VTG-taken en datasets tonen de superieure prestaties van TRACE aan in vergelijking met toonaangevende videomodellen op basis van taalmodellen. Ons model en code zijn beschikbaar op https://github.com/gyxxyg/TRACE.

English

Video Temporal Grounding (VTG) is a crucial capability for video understanding models and plays a vital role in downstream tasks such as video browsing and editing. To effectively handle various tasks simultaneously and enable zero-shot prediction, there is a growing trend in employing video LLMs for VTG tasks. However, current video LLM-based methods rely exclusively on natural language generation, lacking the ability to model the clear structure inherent in videos, which restricts their effectiveness in tackling VTG tasks. To address this issue, this paper first formally introduces causal event modeling framework, which represents videos as sequences of events, and predict the current event using previous events, video inputs, and textural instructions. Each event consists of three components: timestamps, salient scores, and textual captions. We then propose a novel task-interleaved video LLM called TRACE to effectively implement the causal event modeling framework in practice. The TRACE processes visual frames, timestamps, salient scores, and text as distinct tasks, employing various encoders and decoding heads for each. Task tokens are arranged in an interleaved sequence according to the causal event modeling framework's formulation. Extensive experiments on various VTG tasks and datasets demonstrate the superior performance of TRACE compared to state-of-the-art video LLMs. Our model and code are available at https://github.com/gyxxyg/TRACE.