Zelfsupervisie Leren van Bewegingsconcepten door Optimalisatie van Tegenfeitelijke Scenario's

Self-Supervised Learning of Motion Concepts by Optimizing Counterfactuals

March 25, 2025

Auteurs: Stefan Stojanov, David Wendt, Seungwoo Kim, Rahul Venkatesh, Kevin Feigelis, Jiajun Wu, Daniel LK Yamins

cs.AI

Samenvatting

Het schatten van beweging in video's is een essentieel computer vision-probleem met veel downstream toepassingen, waaronder controleerbare videogeneratie en robotica. Huidige oplossingen worden voornamelijk getraind met synthetische data of vereisen afstemming van situatiespecifieke heuristieken, wat inherent de mogelijkheden van deze modellen in real-world contexten beperkt. Ondanks recente ontwikkelingen in grootschalige zelfgesuperviseerde learning van video's, blijft het benutten van dergelijke representaties voor bewegingsschatting relatief onderbelicht. In dit werk ontwikkelen we Opt-CWM, een zelfgesuperviseerde techniek voor flow- en occlusieschatting vanuit een vooraf getraind next-frame voorspellingsmodel. Opt-CWM werkt door het leren optimaliseren van counterfactual probes die bewegingsinformatie extraheren uit een basisvideomodel, waardoor de noodzaak voor vaste heuristieken wordt vermeden terwijl wordt getraind op onbeperkte video-invoer. We behalen state-of-the-art prestaties voor bewegingsschatting op real-world video's zonder gelabelde data te vereisen.

English

Estimating motion in videos is an essential computer vision problem with many downstream applications, including controllable video generation and robotics. Current solutions are primarily trained using synthetic data or require tuning of situation-specific heuristics, which inherently limits these models' capabilities in real-world contexts. Despite recent developments in large-scale self-supervised learning from videos, leveraging such representations for motion estimation remains relatively underexplored. In this work, we develop Opt-CWM, a self-supervised technique for flow and occlusion estimation from a pre-trained next-frame prediction model. Opt-CWM works by learning to optimize counterfactual probes that extract motion information from a base video model, avoiding the need for fixed heuristics while training on unrestricted video inputs. We achieve state-of-the-art performance for motion estimation on real-world videos while requiring no labeled data.