TRACE: 因果イベントモデリングを介した時間的な基盤ビデオLLM

TRACE: Temporal Grounding Video LLM via Causal Event Modeling

October 8, 2024

著者: Yongxin Guo, Jingyu Liu, Mingda Li, Xiaoying Tang, Qingbin Liu, Xi Chen

cs.AI

要旨

ビデオの時間的なグラウンディング（VTG）は、ビデオ理解モデルにとって重要な能力であり、ビデオの閲覧や編集などの下流タスクにおいて重要な役割を果たします。さまざまなタスクを効果的に同時に処理し、ゼロショット予測を可能にするために、ビデオLLMをVTGタスクに採用する傾向が高まっています。ただし、現在のビデオLLMベースの手法は、自然言語生成にのみ依存しており、ビデオ固有の明確な構造をモデル化する能力が欠如しているため、VTGタスクに取り組む際の効果が制限されています。この問題に対処するために、本論文では、ビデオをイベントのシーケンスとして表現し、前のイベント、ビデオ入力、およびテキスト指示を使用して現在のイベントを予測する因果関係イベントモデリングフレームワークを形式的に導入します。各イベントは、タイムスタンプ、顕著なスコア、およびテキストキャプションの3つのコンポーネントで構成されています。次に、因果関係イベントモデリングフレームワークを効果的に実装するための新しいタスク間ビデオLLMであるTRACEを提案します。TRACEは、視覚フレーム、タイムスタンプ、顕著なスコア、およびテキストをそれぞれ異なるタスクとして処理し、各タスクに対してさまざまなエンコーダーとデコーディングヘッドを使用します。タスクトークンは、因果関係イベントモデリングフレームワークの定式化に従って交互に配置されます。さまざまなVTGタスクとデータセットでの包括的な実験により、TRACEの最新のビデオLLMに比べて優れたパフォーマンスが示されました。当モデルとコードは、https://github.com/gyxxyg/TRACE で入手可能です。

English

Video Temporal Grounding (VTG) is a crucial capability for video understanding models and plays a vital role in downstream tasks such as video browsing and editing. To effectively handle various tasks simultaneously and enable zero-shot prediction, there is a growing trend in employing video LLMs for VTG tasks. However, current video LLM-based methods rely exclusively on natural language generation, lacking the ability to model the clear structure inherent in videos, which restricts their effectiveness in tackling VTG tasks. To address this issue, this paper first formally introduces causal event modeling framework, which represents videos as sequences of events, and predict the current event using previous events, video inputs, and textural instructions. Each event consists of three components: timestamps, salient scores, and textual captions. We then propose a novel task-interleaved video LLM called TRACE to effectively implement the causal event modeling framework in practice. The TRACE processes visual frames, timestamps, salient scores, and text as distinct tasks, employing various encoders and decoding heads for each. Task tokens are arranged in an interleaved sequence according to the causal event modeling framework's formulation. Extensive experiments on various VTG tasks and datasets demonstrate the superior performance of TRACE compared to state-of-the-art video LLMs. Our model and code are available at https://github.com/gyxxyg/TRACE.