TRACE: Localização Temporal de Vídeo LLM via Modelagem de Eventos Causais

TRACE: Temporal Grounding Video LLM via Causal Event Modeling

October 8, 2024

Autores: Yongxin Guo, Jingyu Liu, Mingda Li, Xiaoying Tang, Qingbin Liu, Xi Chen

cs.AI

Resumo

A Temporal Grounding de Vídeo (VTG) é uma capacidade crucial para modelos de compreensão de vídeo e desempenha um papel vital em tarefas subsequentes, como navegação e edição de vídeo. Para lidar efetivamente com várias tarefas simultaneamente e permitir previsões sem a necessidade de exemplos, há uma tendência crescente em empregar LLMs de vídeo para tarefas de VTG. No entanto, os métodos atuais baseados em LLM de vídeo dependem exclusivamente da geração de linguagem natural, carecendo da capacidade de modelar a estrutura clara inerente aos vídeos, o que restringe sua eficácia na abordagem das tarefas de VTG. Para resolver esse problema, este artigo introduz formalmente o framework de modelagem de eventos causais, que representa vídeos como sequências de eventos e prevê o evento atual usando eventos anteriores, entradas de vídeo e instruções textuais. Cada evento é composto por três componentes: timestamps, escores salientes e legendas textuais. Em seguida, propomos um novo LLM de vídeo chamado TRACE, intercalado por tarefas, para implementar efetivamente o framework de modelagem de eventos causais na prática. O TRACE processa quadros visuais, timestamps, escores salientes e texto como tarefas distintas, empregando vários codificadores e cabeçalhos de decodificação para cada um. Tokens de tarefa são organizados em uma sequência intercalada de acordo com a formulação do framework de modelagem de eventos causais. Experimentos extensivos em várias tarefas e conjuntos de dados de VTG demonstram o desempenho superior do TRACE em comparação com os LLMs de vídeo de última geração. Nosso modelo e código estão disponíveis em https://github.com/gyxxyg/TRACE.

English

Video Temporal Grounding (VTG) is a crucial capability for video understanding models and plays a vital role in downstream tasks such as video browsing and editing. To effectively handle various tasks simultaneously and enable zero-shot prediction, there is a growing trend in employing video LLMs for VTG tasks. However, current video LLM-based methods rely exclusively on natural language generation, lacking the ability to model the clear structure inherent in videos, which restricts their effectiveness in tackling VTG tasks. To address this issue, this paper first formally introduces causal event modeling framework, which represents videos as sequences of events, and predict the current event using previous events, video inputs, and textural instructions. Each event consists of three components: timestamps, salient scores, and textual captions. We then propose a novel task-interleaved video LLM called TRACE to effectively implement the causal event modeling framework in practice. The TRACE processes visual frames, timestamps, salient scores, and text as distinct tasks, employing various encoders and decoding heads for each. Task tokens are arranged in an interleaved sequence according to the causal event modeling framework's formulation. Extensive experiments on various VTG tasks and datasets demonstrate the superior performance of TRACE compared to state-of-the-art video LLMs. Our model and code are available at https://github.com/gyxxyg/TRACE.