Wat Als: Beweging Begrijpen Door Schaarse Interacties

What If : Understanding Motion Through Sparse Interactions

October 14, 2025

Auteurs: Stefan Andreas Baumann, Nick Stracke, Timy Phan, Björn Ommer

cs.AI

Samenvatting

Het begrijpen van de dynamiek van een fysieke scène vereist redeneren over de diverse manieren waarop deze potentieel kan veranderen, met name als gevolg van lokale interacties. Wij presenteren de Flow Poke Transformer (FPT), een nieuw raamwerk voor het direct voorspellen van de verdeling van lokale beweging, geconditioneerd op schaarse interacties die "pokes" worden genoemd. In tegenstelling tot traditionele methoden die doorgaans alleen een dichte bemonstering van een enkele realisatie van scènedynamiek mogelijk maken, biedt FPT een interpreteerbare, direct toegankelijke representatie van multi-modale scènebeweging, de afhankelijkheid ervan van fysieke interacties en de inherente onzekerheden van scènedynamiek. We evalueren ons model ook op verschillende downstream taken om vergelijkingen met eerdere methoden mogelijk te maken en de flexibiliteit van onze aanpak te benadrukken. Bij het genereren van dichte gezichtsbewegingen overtreft ons generiek voorgetrainde model gespecialiseerde baseline-methoden. FPT kan worden afgestemd op sterk out-of-distribution taken, zoals synthetische datasets, om aanzienlijke verbeteringen te bereiken ten opzichte van in-domain methoden bij het schatten van de beweging van gearticuleerde objecten. Daarnaast stelt het direct voorspellen van expliciete bewegingsverdelingen onze methode in staat om competitieve prestaties te leveren bij taken zoals het segmenteren van bewegende delen op basis van pokes, wat verder de veelzijdigheid van onze FPT aantoont. Code en modellen zijn publiekelijk beschikbaar op https://compvis.github.io/flow-poke-transformer.

English

Understanding the dynamics of a physical scene involves reasoning about the diverse ways it can potentially change, especially as a result of local interactions. We present the Flow Poke Transformer (FPT), a novel framework for directly predicting the distribution of local motion, conditioned on sparse interactions termed "pokes". Unlike traditional methods that typically only enable dense sampling of a single realization of scene dynamics, FPT provides an interpretable directly accessible representation of multi-modal scene motion, its dependency on physical interactions and the inherent uncertainties of scene dynamics. We also evaluate our model on several downstream tasks to enable comparisons with prior methods and highlight the flexibility of our approach. On dense face motion generation, our generic pre-trained model surpasses specialized baselines. FPT can be fine-tuned in strongly out-of-distribution tasks such as synthetic datasets to enable significant improvements over in-domain methods in articulated object motion estimation. Additionally, predicting explicit motion distributions directly enables our method to achieve competitive performance on tasks like moving part segmentation from pokes which further demonstrates the versatility of our FPT. Code and models are publicly available at https://compvis.github.io/flow-poke-transformer.