Pré-treinamento Multiescala de Vídeo para Previsão de Atividades de Longo Prazo

Multiscale Video Pretraining for Long-Term Activity Forecasting

July 24, 2023

Autores: Reuben Tan, Matthias De Lange, Michael Iuzzolino, Bryan A. Plummer, Kate Saenko, Karl Ridgeway, Lorenzo Torresani

cs.AI

Resumo

A previsão de atividades de longo prazo é um problema de pesquisa especialmente desafiador, pois requer a compreensão das relações temporais entre as ações observadas, bem como a variabilidade e complexidade das atividades humanas. Apesar de depender de supervisão forte por meio de anotações humanas caras, as abordagens de previsão mais avançadas frequentemente generalizam mal para dados não vistos. Para mitigar esse problema, propomos o Pré-treinamento Multiescala em Vídeo (MVP, na sigla em inglês), uma nova abordagem de pré-treinamento auto-supervisionado que aprende representações robustas para previsão ao aprender a prever representações contextualizadas de clipes de vídeo futuros em múltiplas escalas de tempo. O MVP é baseado em nossa observação de que as ações em vídeos têm uma natureza multiescala, onde ações atômicas geralmente ocorrem em uma escala de tempo curta, enquanto ações mais complexas podem abranger escalas de tempo mais longas. Comparamos o MVP com abordagens de aprendizado de vídeo auto-supervisionado de última geração em tarefas de previsão de longo prazo, incluindo antecipação de ações de longo prazo e previsão de resumos de vídeo. Nossos experimentos abrangentes nos conjuntos de dados Ego4D e Epic-Kitchens-55/100 demonstram que o MVP supera os métodos mais avançados por margens significativas. Notavelmente, o MVP obtém um ganho de desempenho relativo de mais de 20% em precisão na previsão de resumos de vídeo em comparação com os métodos existentes.

English

Long-term activity forecasting is an especially challenging research problem because it requires understanding the temporal relationships between observed actions, as well as the variability and complexity of human activities. Despite relying on strong supervision via expensive human annotations, state-of-the-art forecasting approaches often generalize poorly to unseen data. To alleviate this issue, we propose Multiscale Video Pretraining (MVP), a novel self-supervised pretraining approach that learns robust representations for forecasting by learning to predict contextualized representations of future video clips over multiple timescales. MVP is based on our observation that actions in videos have a multiscale nature, where atomic actions typically occur at a short timescale and more complex actions may span longer timescales. We compare MVP to state-of-the-art self-supervised video learning approaches on downstream long-term forecasting tasks including long-term action anticipation and video summary prediction. Our comprehensive experiments across the Ego4D and Epic-Kitchens-55/100 datasets demonstrate that MVP out-performs state-of-the-art methods by significant margins. Notably, MVP obtains a relative performance gain of over 20% accuracy in video summary forecasting over existing methods.