Самообучение концептам движения через оптимизацию контрфактуальных сценариев

Self-Supervised Learning of Motion Concepts by Optimizing Counterfactuals

March 25, 2025

Авторы: Stefan Stojanov, David Wendt, Seungwoo Kim, Rahul Venkatesh, Kevin Feigelis, Jiajun Wu, Daniel LK Yamins

cs.AI

Аннотация

Оценка движения в видео является ключевой задачей компьютерного зрения с множеством приложений, включая управляемую генерацию видео и робототехнику. Современные решения в основном обучаются на синтетических данных или требуют настройки эвристик для конкретных ситуаций, что ограничивает возможности таких моделей в реальных условиях. Несмотря на недавние достижения в области крупномасштабного самообучения на основе видео, использование таких представлений для оценки движения остается недостаточно изученным. В данной работе мы разрабатываем Opt-CWM — метод самообучения для оценки потока и окклюзии на основе предварительно обученной модели предсказания следующего кадра. Opt-CWM работает путем оптимизации контрфактических проб, извлекающих информацию о движении из базовой видео-модели, что позволяет избежать необходимости в фиксированных эвристиках при обучении на неограниченных видео-входах. Мы достигаем наилучших результатов в оценке движения на реальных видео, не требуя размеченных данных.

English

Estimating motion in videos is an essential computer vision problem with many downstream applications, including controllable video generation and robotics. Current solutions are primarily trained using synthetic data or require tuning of situation-specific heuristics, which inherently limits these models' capabilities in real-world contexts. Despite recent developments in large-scale self-supervised learning from videos, leveraging such representations for motion estimation remains relatively underexplored. In this work, we develop Opt-CWM, a self-supervised technique for flow and occlusion estimation from a pre-trained next-frame prediction model. Opt-CWM works by learning to optimize counterfactual probes that extract motion information from a base video model, avoiding the need for fixed heuristics while training on unrestricted video inputs. We achieve state-of-the-art performance for motion estimation on real-world videos while requiring no labeled data.