VERFOLGUNG: Zeitliche Verankerung von Video-LLM durch kausales Ereignismodell

TRACE: Temporal Grounding Video LLM via Causal Event Modeling

October 8, 2024

Autoren: Yongxin Guo, Jingyu Liu, Mingda Li, Xiaoying Tang, Qingbin Liu, Xi Chen

cs.AI

Zusammenfassung

Video-Temporales Begründen (VTG) ist eine entscheidende Fähigkeit für Videoverständnismodelle und spielt eine wichtige Rolle bei nachgelagerten Aufgaben wie Video-Durchsuchen und -Bearbeiten. Um verschiedene Aufgaben gleichzeitig effektiv zu bewältigen und Null-Schuss-Vorhersagen zu ermöglichen, gibt es einen wachsenden Trend, Video-LLMs für VTG-Aufgaben einzusetzen. Allerdings stützen sich aktuelle Video-LLM-basierte Methoden ausschließlich auf die natürliche Sprachgenerierung, was ihnen die Fähigkeit nimmt, die klare Struktur, die in Videos angelegt ist, zu modellieren, was ihre Effektivität bei der Bewältigung von VTG-Aufgaben einschränkt. Um dieses Problem anzugehen, führt diese Arbeit zunächst formell das kausale Ereignismodellierungs-Framework ein, das Videos als Sequenzen von Ereignissen darstellt und das aktuelle Ereignis mithilfe vorheriger Ereignisse, Videoeingaben und textueller Anweisungen vorhersagt. Jedes Ereignis besteht aus drei Komponenten: Zeitstempel, herausragende Punktzahlen und textuelle Bildunterschriften. Anschließend schlagen wir einen neuartigen aufgabeninterleavierten Video-LLM namens TRACE vor, um das kausale Ereignismodellierungs-Framework in der Praxis effektiv umzusetzen. TRACE verarbeitet visuelle Frames, Zeitstempel, herausragende Punktzahlen und Text als separate Aufgaben und verwendet verschiedene Encoder und Decodierköpfe für jede Aufgabe. Aufgabentoken werden gemäß der Formulierung des kausalen Ereignismodellierungs-Frameworks in einer interleavierten Sequenz angeordnet. Umfangreiche Experimente zu verschiedenen VTG-Aufgaben und Datensätzen zeigen die überlegene Leistung von TRACE im Vergleich zu führenden Video-LLMs. Unser Modell und Code sind unter https://github.com/gyxxyg/TRACE verfügbar.

English

Video Temporal Grounding (VTG) is a crucial capability for video understanding models and plays a vital role in downstream tasks such as video browsing and editing. To effectively handle various tasks simultaneously and enable zero-shot prediction, there is a growing trend in employing video LLMs for VTG tasks. However, current video LLM-based methods rely exclusively on natural language generation, lacking the ability to model the clear structure inherent in videos, which restricts their effectiveness in tackling VTG tasks. To address this issue, this paper first formally introduces causal event modeling framework, which represents videos as sequences of events, and predict the current event using previous events, video inputs, and textural instructions. Each event consists of three components: timestamps, salient scores, and textual captions. We then propose a novel task-interleaved video LLM called TRACE to effectively implement the causal event modeling framework in practice. The TRACE processes visual frames, timestamps, salient scores, and text as distinct tasks, employing various encoders and decoding heads for each. Task tokens are arranged in an interleaved sequence according to the causal event modeling framework's formulation. Extensive experiments on various VTG tasks and datasets demonstrate the superior performance of TRACE compared to state-of-the-art video LLMs. Our model and code are available at https://github.com/gyxxyg/TRACE.