Was wäre, wenn: Bewegung durch spärliche Interaktionen verstehen

What If : Understanding Motion Through Sparse Interactions

October 14, 2025

papers.authors: Stefan Andreas Baumann, Nick Stracke, Timy Phan, Björn Ommer

cs.AI

papers.abstract

Das Verständnis der Dynamik einer physischen Szene erfordert die Analyse der vielfältigen Möglichkeiten, wie sie sich potenziell verändern kann, insbesondere als Folge lokaler Interaktionen. Wir stellen den Flow Poke Transformer (FPT) vor, ein neuartiges Framework zur direkten Vorhersage der Verteilung lokaler Bewegungen, bedingt durch spärliche Interaktionen, die als "Pokes" bezeichnet werden. Im Gegensatz zu traditionellen Methoden, die typischerweise nur eine dichte Abtastung einer einzigen Realisierung der Szenendynamik ermöglichen, bietet FPT eine interpretierbare, direkt zugängliche Darstellung multimodaler Szenenbewegungen, deren Abhängigkeit von physischen Interaktionen und die inhärenten Unsicherheiten der Szenendynamik. Wir evaluieren unser Modell auch in mehreren nachgelagerten Aufgaben, um Vergleiche mit früheren Methoden zu ermöglichen und die Flexibilität unseres Ansatzes hervorzuheben. Bei der Erzeugung dichter Gesichtsbewegungen übertrifft unser generisch vortrainiertes Modell spezialisierte Baselines. FPT kann in stark außerhalb der Verteilung liegenden Aufgaben, wie synthetischen Datensätzen, feinabgestimmt werden, um signifikante Verbesserungen gegenüber in-domain Methoden bei der Schätzung der Bewegung artikulierter Objekte zu ermöglichen. Darüber hinaus ermöglicht die direkte Vorhersage expliziter Bewegungsverteilungen unserem Modell, wettbewerbsfähige Leistungen bei Aufgaben wie der Segmentierung beweglicher Teile aus Pokes zu erzielen, was die Vielseitigkeit unseres FPT weiter unterstreicht. Code und Modelle sind öffentlich verfügbar unter https://compvis.github.io/flow-poke-transformer.

English

Understanding the dynamics of a physical scene involves reasoning about the diverse ways it can potentially change, especially as a result of local interactions. We present the Flow Poke Transformer (FPT), a novel framework for directly predicting the distribution of local motion, conditioned on sparse interactions termed "pokes". Unlike traditional methods that typically only enable dense sampling of a single realization of scene dynamics, FPT provides an interpretable directly accessible representation of multi-modal scene motion, its dependency on physical interactions and the inherent uncertainties of scene dynamics. We also evaluate our model on several downstream tasks to enable comparisons with prior methods and highlight the flexibility of our approach. On dense face motion generation, our generic pre-trained model surpasses specialized baselines. FPT can be fine-tuned in strongly out-of-distribution tasks such as synthetic datasets to enable significant improvements over in-domain methods in articulated object motion estimation. Additionally, predicting explicit motion distributions directly enables our method to achieve competitive performance on tasks like moving part segmentation from pokes which further demonstrates the versatility of our FPT. Code and models are publicly available at https://compvis.github.io/flow-poke-transformer.