Что Если: Понимание движения через разреженные взаимодействия

What If : Understanding Motion Through Sparse Interactions

October 14, 2025

Авторы: Stefan Andreas Baumann, Nick Stracke, Timy Phan, Björn Ommer

cs.AI

Аннотация

Понимание динамики физической сцены требует анализа различных способов, которыми она может потенциально изменяться, особенно в результате локальных взаимодействий. Мы представляем Flow Poke Transformer (FPT) — новый фреймворк для прямого предсказания распределения локального движения, обусловленного редкими взаимодействиями, называемыми "тычками" (pokes). В отличие от традиционных методов, которые обычно позволяют только плотно сэмплировать одну реализацию динамики сцены, FPT предоставляет интерпретируемое и непосредственно доступное представление многомодального движения сцены, его зависимости от физических взаимодействий и неотъемлемых неопределенностей динамики сцены. Мы также оцениваем нашу модель на нескольких последующих задачах, чтобы обеспечить сравнение с предыдущими методами и подчеркнуть гибкость нашего подхода. В задаче генерации плотного движения лица наша предобученная модель превосходит специализированные базовые методы. FPT может быть дообучен на задачах, сильно выходящих за пределы распределения, таких как синтетические наборы данных, что позволяет достичь значительных улучшений по сравнению с методами, работающими в пределах домена, в оценке движения сочлененных объектов. Кроме того, прямое предсказание явных распределений движения позволяет нашему методу достичь конкурентоспособных результатов в задачах, таких как сегментация движущихся частей на основе тычков, что дополнительно демонстрирует универсальность нашего FPT. Код и модели доступны публично по адресу https://compvis.github.io/flow-poke-transformer.

English

Understanding the dynamics of a physical scene involves reasoning about the diverse ways it can potentially change, especially as a result of local interactions. We present the Flow Poke Transformer (FPT), a novel framework for directly predicting the distribution of local motion, conditioned on sparse interactions termed "pokes". Unlike traditional methods that typically only enable dense sampling of a single realization of scene dynamics, FPT provides an interpretable directly accessible representation of multi-modal scene motion, its dependency on physical interactions and the inherent uncertainties of scene dynamics. We also evaluate our model on several downstream tasks to enable comparisons with prior methods and highlight the flexibility of our approach. On dense face motion generation, our generic pre-trained model surpasses specialized baselines. FPT can be fine-tuned in strongly out-of-distribution tasks such as synthetic datasets to enable significant improvements over in-domain methods in articulated object motion estimation. Additionally, predicting explicit motion distributions directly enables our method to achieve competitive performance on tasks like moving part segmentation from pokes which further demonstrates the versatility of our FPT. Code and models are publicly available at https://compvis.github.io/flow-poke-transformer.