Pre-addestramento multiscala su video per la previsione di attività a lungo termine

Multiscale Video Pretraining for Long-Term Activity Forecasting

July 24, 2023

Autori: Reuben Tan, Matthias De Lange, Michael Iuzzolino, Bryan A. Plummer, Kate Saenko, Karl Ridgeway, Lorenzo Torresani

cs.AI

Abstract

La previsione delle attività a lungo termine rappresenta un problema di ricerca particolarmente impegnativo poiché richiede la comprensione delle relazioni temporali tra le azioni osservate, nonché della variabilità e complessità delle attività umane. Nonostante si basino su una supervisione forte tramite costose annotazioni umane, gli approcci di previsione all'avanguardia spesso generalizzano male su dati non visti. Per mitigare questo problema, proponiamo il Multiscale Video Pretraining (MVP), un nuovo approccio di pre-addestramento auto-supervisionato che apprende rappresentazioni robuste per la previsione imparando a predire rappresentazioni contestualizzate di clip video futuri su più scale temporali. MVP si basa sulla nostra osservazione che le azioni nei video hanno una natura multiscala, dove le azioni atomiche tipicamente si verificano su una scala temporale breve, mentre azioni più complesse possono estendersi su scale temporali più lunghe. Confrontiamo MVP con approcci all'avanguardia di apprendimento video auto-supervisionato su task di previsione a lungo termine, tra cui l'anticipazione di azioni a lungo termine e la previsione di riassunti video. I nostri esperimenti completi sui dataset Ego4D e Epic-Kitchens-55/100 dimostrano che MVP supera i metodi all'avanguardia con margini significativi. In particolare, MVP ottiene un guadagno relativo di prestazioni superiore al 20% in accuratezza nella previsione di riassunti video rispetto ai metodi esistenti.

English

Long-term activity forecasting is an especially challenging research problem because it requires understanding the temporal relationships between observed actions, as well as the variability and complexity of human activities. Despite relying on strong supervision via expensive human annotations, state-of-the-art forecasting approaches often generalize poorly to unseen data. To alleviate this issue, we propose Multiscale Video Pretraining (MVP), a novel self-supervised pretraining approach that learns robust representations for forecasting by learning to predict contextualized representations of future video clips over multiple timescales. MVP is based on our observation that actions in videos have a multiscale nature, where atomic actions typically occur at a short timescale and more complex actions may span longer timescales. We compare MVP to state-of-the-art self-supervised video learning approaches on downstream long-term forecasting tasks including long-term action anticipation and video summary prediction. Our comprehensive experiments across the Ego4D and Epic-Kitchens-55/100 datasets demonstrate that MVP out-performs state-of-the-art methods by significant margins. Notably, MVP obtains a relative performance gain of over 20% accuracy in video summary forecasting over existing methods.