Multiskaliges Video-Pretraining für die Langzeitaktivitätsvorhersage

Multiscale Video Pretraining for Long-Term Activity Forecasting

July 24, 2023

Autoren: Reuben Tan, Matthias De Lange, Michael Iuzzolino, Bryan A. Plummer, Kate Saenko, Karl Ridgeway, Lorenzo Torresani

cs.AI

Zusammenfassung

Die langfristige Aktivitätsvorhersage ist ein besonders herausforderndes Forschungsproblem, da sie das Verständnis der zeitlichen Beziehungen zwischen beobachteten Aktionen sowie die Variabilität und Komplexität menschlicher Aktivitäten erfordert. Obwohl sie auf starker Überwachung durch kostspielige menschliche Annotationen beruhen, generalisieren state-of-the-art Vorhersageansätze oft schlecht auf unbekannte Daten. Um dieses Problem zu mildern, schlagen wir Multiscale Video Pretraining (MVP) vor, einen neuartigen selbstüberwachten Vortrainierungsansatz, der robuste Repräsentationen für die Vorhersage lernt, indem er kontextualisierte Repräsentationen zukünftiger Videoclips über mehrere Zeitskalen vorhersagt. MVP basiert auf unserer Beobachtung, dass Aktionen in Videos eine mehrskalige Natur haben, wobei atomare Aktionen typischerweise auf einer kurzen Zeitskale auftreten und komplexere Aktionen längere Zeitskalen umfassen können. Wir vergleichen MVP mit state-of-the-art selbstüberwachten Video-Lernansätzen bei nachgelagerten langfristigen Vorhersageaufgaben, einschließlich langfristiger Aktionsantizipation und Video-Zusammenfassungsvorhersage. Unsere umfassenden Experimente über die Ego4D- und Epic-Kitchens-55/100-Datensätze zeigen, dass MVP state-of-the-art Methoden mit deutlichen Abständen übertrifft. Insbesondere erzielt MVP einen relativen Leistungsgewinn von über 20 % Genauigkeit bei der Video-Zusammenfassungsvorhersage gegenüber bestehenden Methoden.

English

Long-term activity forecasting is an especially challenging research problem because it requires understanding the temporal relationships between observed actions, as well as the variability and complexity of human activities. Despite relying on strong supervision via expensive human annotations, state-of-the-art forecasting approaches often generalize poorly to unseen data. To alleviate this issue, we propose Multiscale Video Pretraining (MVP), a novel self-supervised pretraining approach that learns robust representations for forecasting by learning to predict contextualized representations of future video clips over multiple timescales. MVP is based on our observation that actions in videos have a multiscale nature, where atomic actions typically occur at a short timescale and more complex actions may span longer timescales. We compare MVP to state-of-the-art self-supervised video learning approaches on downstream long-term forecasting tasks including long-term action anticipation and video summary prediction. Our comprehensive experiments across the Ego4D and Epic-Kitchens-55/100 datasets demonstrate that MVP out-performs state-of-the-art methods by significant margins. Notably, MVP obtains a relative performance gain of over 20% accuracy in video summary forecasting over existing methods.