Cosa Se: Comprendere il Movimento Attraverso Interazioni Sparse

What If : Understanding Motion Through Sparse Interactions

October 14, 2025

Autori: Stefan Andreas Baumann, Nick Stracke, Timy Phan, Björn Ommer

cs.AI

Abstract

Comprendere le dinamiche di una scena fisica implica ragionare sulle diverse modalità in cui essa può potenzialmente cambiare, specialmente come risultato di interazioni locali. Presentiamo il Flow Poke Transformer (FPT), un nuovo framework per prevedere direttamente la distribuzione del moto locale, condizionato da interazioni sparse denominate "poke". A differenza dei metodi tradizionali che tipicamente consentono solo un campionamento denso di una singola realizzazione delle dinamiche della scena, FPT fornisce una rappresentazione interpretabile e direttamente accessibile del moto multi-modale della scena, della sua dipendenza dalle interazioni fisiche e delle incertezze intrinseche delle dinamiche della scena. Valutiamo inoltre il nostro modello su diverse attività downstream per consentire confronti con metodi precedenti e evidenziare la flessibilità del nostro approccio. Nella generazione densa del moto del volto, il nostro modello pre-addestrato generico supera i baseline specializzati. FPT può essere fine-tuned in attività fortemente fuori distribuzione, come i dataset sintetici, per consentire miglioramenti significativi rispetto ai metodi in-domain nella stima del moto di oggetti articolati. Inoltre, la previsione diretta di distribuzioni esplicite del moto consente al nostro metodo di ottenere prestazioni competitive in attività come la segmentazione delle parti in movimento a partire da poke, dimostrando ulteriormente la versatilità del nostro FPT. Codice e modelli sono disponibili pubblicamente all'indirizzo https://compvis.github.io/flow-poke-transformer.

English

Understanding the dynamics of a physical scene involves reasoning about the diverse ways it can potentially change, especially as a result of local interactions. We present the Flow Poke Transformer (FPT), a novel framework for directly predicting the distribution of local motion, conditioned on sparse interactions termed "pokes". Unlike traditional methods that typically only enable dense sampling of a single realization of scene dynamics, FPT provides an interpretable directly accessible representation of multi-modal scene motion, its dependency on physical interactions and the inherent uncertainties of scene dynamics. We also evaluate our model on several downstream tasks to enable comparisons with prior methods and highlight the flexibility of our approach. On dense face motion generation, our generic pre-trained model surpasses specialized baselines. FPT can be fine-tuned in strongly out-of-distribution tasks such as synthetic datasets to enable significant improvements over in-domain methods in articulated object motion estimation. Additionally, predicting explicit motion distributions directly enables our method to achieve competitive performance on tasks like moving part segmentation from pokes which further demonstrates the versatility of our FPT. Code and models are publicly available at https://compvis.github.io/flow-poke-transformer.