Многомасштабное предварительное обучение на видео для прогнозирования долгосрочной активности

Multiscale Video Pretraining for Long-Term Activity Forecasting

July 24, 2023

Авторы: Reuben Tan, Matthias De Lange, Michael Iuzzolino, Bryan A. Plummer, Kate Saenko, Karl Ridgeway, Lorenzo Torresani

cs.AI

Аннотация

Прогнозирование долгосрочной активности представляет собой особенно сложную исследовательскую задачу, поскольку требует понимания временных взаимосвязей между наблюдаемыми действиями, а также изменчивости и сложности человеческой деятельности. Несмотря на использование строгого контроля через дорогостоящие аннотации, созданные человеком, современные методы прогнозирования часто плохо обобщаются на новые данные. Чтобы смягчить эту проблему, мы предлагаем Multiscale Video Pretraining (MVP) — новый подход к самоконтролируемому предобучению, который изучает устойчивые представления для прогнозирования, обучаясь предсказывать контекстуализированные представления будущих видеоклипов на нескольких временных масштабах. MVP основан на нашем наблюдении, что действия в видео имеют многоуровневую природу, где атомарные действия обычно происходят на коротком временном масштабе, а более сложные действия могут охватывать более длительные периоды. Мы сравниваем MVP с современными подходами к самоконтролируемому обучению на видео в задачах долгосрочного прогнозирования, включая предсказание долгосрочных действий и прогнозирование видеосводок. Наши всесторонние эксперименты на наборах данных Ego4D и Epic-Kitchens-55/100 показывают, что MVP значительно превосходит современные методы. В частности, MVP демонстрирует относительное улучшение точности более чем на 20% в прогнозировании видеосводок по сравнению с существующими методами.

English

Long-term activity forecasting is an especially challenging research problem because it requires understanding the temporal relationships between observed actions, as well as the variability and complexity of human activities. Despite relying on strong supervision via expensive human annotations, state-of-the-art forecasting approaches often generalize poorly to unseen data. To alleviate this issue, we propose Multiscale Video Pretraining (MVP), a novel self-supervised pretraining approach that learns robust representations for forecasting by learning to predict contextualized representations of future video clips over multiple timescales. MVP is based on our observation that actions in videos have a multiscale nature, where atomic actions typically occur at a short timescale and more complex actions may span longer timescales. We compare MVP to state-of-the-art self-supervised video learning approaches on downstream long-term forecasting tasks including long-term action anticipation and video summary prediction. Our comprehensive experiments across the Ego4D and Epic-Kitchens-55/100 datasets demonstrate that MVP out-performs state-of-the-art methods by significant margins. Notably, MVP obtains a relative performance gain of over 20% accuracy in video summary forecasting over existing methods.