Apprentissage Auto-Supervisé de Concepts de Mouvement par Optimisation de Contrefactuels

Self-Supervised Learning of Motion Concepts by Optimizing Counterfactuals

March 25, 2025

Auteurs: Stefan Stojanov, David Wendt, Seungwoo Kim, Rahul Venkatesh, Kevin Feigelis, Jiajun Wu, Daniel LK Yamins

cs.AI

Résumé

L'estimation du mouvement dans les vidéos est un problème fondamental en vision par ordinateur, avec de nombreuses applications en aval, telles que la génération de vidéos contrôlables et la robotique. Les solutions actuelles sont principalement entraînées à l'aide de données synthétiques ou nécessitent l'ajustement d'heuristiques spécifiques à chaque situation, ce qui limite intrinsèquement les capacités de ces modèles dans des contextes réels. Malgré les récents progrès dans l'apprentissage auto-supervisé à grande échelle à partir de vidéos, l'exploitation de telles représentations pour l'estimation du mouvement reste relativement peu explorée. Dans ce travail, nous développons Opt-CWM, une technique auto-supervisée pour l'estimation du flux et de l'occlusion à partir d'un modèle pré-entraîné de prédiction d'image suivante. Opt-CWM fonctionne en apprenant à optimiser des sondes contrefactuelles qui extraient des informations de mouvement d'un modèle vidéo de base, évitant ainsi le besoin d'heuristiques fixes tout en s'entraînant sur des entrées vidéo non restreintes. Nous obtenons des performances de pointe pour l'estimation du mouvement sur des vidéos du monde réel, sans nécessiter de données étiquetées.

English

Estimating motion in videos is an essential computer vision problem with many downstream applications, including controllable video generation and robotics. Current solutions are primarily trained using synthetic data or require tuning of situation-specific heuristics, which inherently limits these models' capabilities in real-world contexts. Despite recent developments in large-scale self-supervised learning from videos, leveraging such representations for motion estimation remains relatively underexplored. In this work, we develop Opt-CWM, a self-supervised technique for flow and occlusion estimation from a pre-trained next-frame prediction model. Opt-CWM works by learning to optimize counterfactual probes that extract motion information from a base video model, avoiding the need for fixed heuristics while training on unrestricted video inputs. We achieve state-of-the-art performance for motion estimation on real-world videos while requiring no labeled data.