PhysiFormer: Aprendizaje para simular mecánica en el espacio mundial

Resumen

Presentamos PhysiFormer, un transformador de difusión para el movimiento de objetos 3D físicamente plausible. A diferencia de los modelos de mundo en video que operan en un espacio de píxeles dependiente de la vista, PhysiFormer representa objetos como mallas 3D expresadas en coordenadas del mundo. Dadas las posiciones y velocidades iniciales de los vértices, así como el tipo de material del objeto, rígido o elástico, el modelo muestrea trayectorias futuras de los vértices. Mientras que enfoques relacionados de física neuronal se basan en espacios latentes ad-hoc o imponen explícitamente rigidez y causalidad, PhysiFormer demuestra que se pueden obtener excelentes resultados sin tales sesgos inductivos, al formular la predicción de trayectorias de vértices como un único proceso de difusión de eliminación de ruido directamente en coordenadas del mundo. La formulación probabilística captura la incertidumbre en la dinámica aprendida, permitiendo futuros diversos y plausibles a partir de condiciones iniciales, lo que hace que este marco sea potencialmente útil para aplicaciones con incertidumbre no observada. El modelo cuenta con atención factorizada en tiempo, espacio y objetos para lograr eficiencia, permitiendo el razonamiento multiobjeto invariante a la permutación sin necesidad de codificación explícita de objetos. Entrenado en más de 100 mil trayectorias simuladas, PhysiFormer genera mecánica rígida y elástica, y se generaliza a configuraciones de materiales mixtos, geometrías del mundo real no vistas y un mayor número de objetos. Supera sustancialmente a las líneas de base autorregresivas en precisión de trayectoria, preservación de rigidez y consistencia física basada en momento. Nuestros resultados posicionan la difusión en el espacio de coordenadas como un paso prometedor hacia el modelado de mundo invariante a la vista y consciente de la geometría para robótica, gráficos y diseño físico. Las visualizaciones, el código y los modelos están disponibles en https://yimingc9.github.io/physiformer.

English

We present PhysiFormer, a diffusion transformer for physically-plausible 3D object motion. Unlike video world models that operate in view-dependent pixel space, PhysiFormer represents objects as 3D meshes expressed in world coordinates. Given the initial vertex positions and velocities, as well as object material type, rigid or elastic, the model samples future vertex trajectories. While related neural physics approaches build on ad-hoc latent spaces or explicitly enforce rigidity and causality, PhysiFormer shows that excellent results can be obtained without any such inductive biases, by casting vertex trajectory prediction as a single denoising diffusion process directly in world coordinates. The probabilistic formulation captures uncertainty in the learned dynamics, enabling diverse plausible futures from initial conditions, making this framework potentially useful for applications with unobserved uncertainty. The model features attention factorised over time, space, and objects for efficiency, enabling permutation-invariant multi-object reasoning without needing explicit object encoding. Trained on over 100k simulated trajectories, PhysiFormer generates rigid and elastic mechanics, and generalises to mixed-material settings, unseen real-world geometries, and larger object counts. It substantially outperforms autoregressive baselines in trajectory accuracy, rigidity preservation, and momentum-based physical consistency. Our results position coordinate-space diffusion as a promising step toward view-invariant, geometry-aware world modelling for robotics, graphics, and physical design. Visualisations, code, and models are available at https://yimingc9.github.io/physiformer.