Aprendizado Autossupervisionado de Conceitos de Movimento por Otimização de Contrafactuais

Self-Supervised Learning of Motion Concepts by Optimizing Counterfactuals

March 25, 2025

Autores: Stefan Stojanov, David Wendt, Seungwoo Kim, Rahul Venkatesh, Kevin Feigelis, Jiajun Wu, Daniel LK Yamins

cs.AI

Resumo

A estimação de movimento em vídeos é um problema essencial de visão computacional com diversas aplicações subsequentes, incluindo geração controlada de vídeos e robótica. As soluções atuais são principalmente treinadas usando dados sintéticos ou exigem ajustes de heurísticas específicas para cada situação, o que limita inerentemente as capacidades desses modelos em contextos do mundo real. Apesar dos recentes avanços no aprendizado auto-supervisionado em larga escala a partir de vídeos, o aproveitamento de tais representações para estimação de movimento permanece relativamente pouco explorado. Neste trabalho, desenvolvemos o Opt-CWM, uma técnica auto-supervisionada para estimação de fluxo e oclusão a partir de um modelo pré-treinado de previsão de quadros subsequentes. O Opt-CWM funciona aprendendo a otimizar sondagens contrafactuais que extraem informações de movimento de um modelo base de vídeo, evitando a necessidade de heurísticas fixas enquanto treina com entradas de vídeo irrestritas. Alcançamos desempenho de ponta na estimação de movimento em vídeos do mundo real sem a necessidade de dados rotulados.

English

Estimating motion in videos is an essential computer vision problem with many downstream applications, including controllable video generation and robotics. Current solutions are primarily trained using synthetic data or require tuning of situation-specific heuristics, which inherently limits these models' capabilities in real-world contexts. Despite recent developments in large-scale self-supervised learning from videos, leveraging such representations for motion estimation remains relatively underexplored. In this work, we develop Opt-CWM, a self-supervised technique for flow and occlusion estimation from a pre-trained next-frame prediction model. Opt-CWM works by learning to optimize counterfactual probes that extract motion information from a base video model, avoiding the need for fixed heuristics while training on unrestricted video inputs. We achieve state-of-the-art performance for motion estimation on real-world videos while requiring no labeled data.