Aprendizaje Autosupervisado de Conceptos de Movimiento mediante la Optimización de Contrafactuales

Self-Supervised Learning of Motion Concepts by Optimizing Counterfactuals

March 25, 2025

Autores: Stefan Stojanov, David Wendt, Seungwoo Kim, Rahul Venkatesh, Kevin Feigelis, Jiajun Wu, Daniel LK Yamins

cs.AI

Resumen

La estimación de movimiento en videos es un problema fundamental en visión por computadora con múltiples aplicaciones posteriores, incluyendo la generación controlada de videos y la robótica. Las soluciones actuales se entrenan principalmente utilizando datos sintéticos o requieren ajustes de heurísticas específicas para cada situación, lo que limita inherentemente las capacidades de estos modelos en contextos del mundo real. A pesar de los recientes avances en el aprendizaje autosupervisado a gran escala a partir de videos, el aprovechamiento de tales representaciones para la estimación de movimiento sigue siendo relativamente poco explorado. En este trabajo, desarrollamos Opt-CWM, una técnica autosupervisada para la estimación de flujo y oclusión a partir de un modelo preentrenado de predicción de fotogramas siguientes. Opt-CWM funciona aprendiendo a optimizar sondas contrafactuales que extraen información de movimiento de un modelo base de video, evitando la necesidad de heurísticas fijas mientras se entrena con entradas de video no restringidas. Logramos un rendimiento de vanguardia en la estimación de movimiento en videos del mundo real sin requerir datos etiquetados.

English

Estimating motion in videos is an essential computer vision problem with many downstream applications, including controllable video generation and robotics. Current solutions are primarily trained using synthetic data or require tuning of situation-specific heuristics, which inherently limits these models' capabilities in real-world contexts. Despite recent developments in large-scale self-supervised learning from videos, leveraging such representations for motion estimation remains relatively underexplored. In this work, we develop Opt-CWM, a self-supervised technique for flow and occlusion estimation from a pre-trained next-frame prediction model. Opt-CWM works by learning to optimize counterfactual probes that extract motion information from a base video model, avoiding the need for fixed heuristics while training on unrestricted video inputs. We achieve state-of-the-art performance for motion estimation on real-world videos while requiring no labeled data.