¿Qué pasaría si?: Comprender el movimiento a través de interacciones dispersas

What If : Understanding Motion Through Sparse Interactions

October 14, 2025

Autores: Stefan Andreas Baumann, Nick Stracke, Timy Phan, Björn Ommer

cs.AI

Resumen

Comprender la dinámica de una escena física implica razonar sobre las diversas formas en que puede cambiar potencialmente, especialmente como resultado de interacciones locales. Presentamos el Flow Poke Transformer (FPT), un marco novedoso para predecir directamente la distribución del movimiento local, condicionado a interacciones dispersas denominadas "pokes". A diferencia de los métodos tradicionales que generalmente solo permiten un muestreo denso de una única realización de la dinámica de la escena, FPT proporciona una representación interpretable y directamente accesible del movimiento multimodal de la escena, su dependencia de las interacciones físicas y las incertidumbres inherentes de la dinámica de la escena. También evaluamos nuestro modelo en varias tareas posteriores para permitir comparaciones con métodos previos y resaltar la flexibilidad de nuestro enfoque. En la generación de movimiento facial denso, nuestro modelo genérico preentrenado supera a las líneas base especializadas. FPT puede ajustarse en tareas fuertemente fuera de distribución, como conjuntos de datos sintéticos, para permitir mejoras significativas sobre los métodos en el dominio en la estimación del movimiento de objetos articulados. Además, predecir distribuciones de movimiento explícitas directamente permite que nuestro método logre un rendimiento competitivo en tareas como la segmentación de partes móviles a partir de pokes, lo que demuestra aún más la versatilidad de nuestro FPT. El código y los modelos están disponibles públicamente en https://compvis.github.io/flow-poke-transformer.

English

Understanding the dynamics of a physical scene involves reasoning about the diverse ways it can potentially change, especially as a result of local interactions. We present the Flow Poke Transformer (FPT), a novel framework for directly predicting the distribution of local motion, conditioned on sparse interactions termed "pokes". Unlike traditional methods that typically only enable dense sampling of a single realization of scene dynamics, FPT provides an interpretable directly accessible representation of multi-modal scene motion, its dependency on physical interactions and the inherent uncertainties of scene dynamics. We also evaluate our model on several downstream tasks to enable comparisons with prior methods and highlight the flexibility of our approach. On dense face motion generation, our generic pre-trained model surpasses specialized baselines. FPT can be fine-tuned in strongly out-of-distribution tasks such as synthetic datasets to enable significant improvements over in-domain methods in articulated object motion estimation. Additionally, predicting explicit motion distributions directly enables our method to achieve competitive performance on tasks like moving part segmentation from pokes which further demonstrates the versatility of our FPT. Code and models are publicly available at https://compvis.github.io/flow-poke-transformer.