PhysiFormer: Leren om mechanica te simuleren in wereldruimte

Samenvatting

We presenteren PhysiFormer, een diffusietransformator voor fysiek plausibele 3D-objectbeweging. In tegenstelling tot videowereldmodellen die werken in aanzichtafhankelijke pixelruimte, representeert PhysiFormer objecten als 3D-meshes uitgedrukt in wereldcoördinaten. Gegeven de initiële vertexposities en -snelheden, evenals het objectmateriaaltype (stijf of elastisch), samplet het model toekomstige verlooptrajecten. Terwijl gerelateerde neurale fysicabenaderingen gebaseerd zijn op ad-hoc latente ruimten of expliciet stijfheid en causaliteit afdwingen, toont PhysiFormer aan dat uitstekende resultaten kunnen worden verkregen zonder dergelijke inductieve biases, door vertexbaanvoorspelling te beschouwen als een enkel denoising-diffusieproces direct in wereldcoördinaten. De probabilistische formulering vat onzekerheid in de geleerde dynamiek, waardoor diverse plausibele toekomsten vanuit initiële condities mogelijk worden, wat dit raamwerk potentieel nuttig maakt voor toepassingen met niet-waargenomen onzekerheid. Het model beschikt over aandacht die is gefactoriseerd over tijd, ruimte en objecten voor efficiëntie, wat permutatie-invariante multi-objectredenering mogelijk maakt zonder expliciete objectcodering. Getraind op meer dan 100k gesimuleerde trajecten, genereert PhysiFormer stijve en elastische mechanica, en generaliseert het naar omgevingen met gemengde materialen, onbekende real-world geometrieën en grotere objectaantallen. Het presteert aanzienlijk beter dan autoregressieve baselines in baan nauwkeurigheid, stijfheidsbehoud en op momentum gebaseerde fysieke consistentie. Onze resultaten positioneren diffusie in coördinatenruimte als een veelbelovende stap naar aanzichtinvariante, geometriebewuste werelmodellering voor robotica, grafische vormgeving en fysiek ontwerp. Visualisaties, code en modellen zijn beschikbaar op https://yimingc9.github.io/physiformer.

English

We present PhysiFormer, a diffusion transformer for physically-plausible 3D object motion. Unlike video world models that operate in view-dependent pixel space, PhysiFormer represents objects as 3D meshes expressed in world coordinates. Given the initial vertex positions and velocities, as well as object material type, rigid or elastic, the model samples future vertex trajectories. While related neural physics approaches build on ad-hoc latent spaces or explicitly enforce rigidity and causality, PhysiFormer shows that excellent results can be obtained without any such inductive biases, by casting vertex trajectory prediction as a single denoising diffusion process directly in world coordinates. The probabilistic formulation captures uncertainty in the learned dynamics, enabling diverse plausible futures from initial conditions, making this framework potentially useful for applications with unobserved uncertainty. The model features attention factorised over time, space, and objects for efficiency, enabling permutation-invariant multi-object reasoning without needing explicit object encoding. Trained on over 100k simulated trajectories, PhysiFormer generates rigid and elastic mechanics, and generalises to mixed-material settings, unseen real-world geometries, and larger object counts. It substantially outperforms autoregressive baselines in trajectory accuracy, rigidity preservation, and momentum-based physical consistency. Our results position coordinate-space diffusion as a promising step toward view-invariant, geometry-aware world modelling for robotics, graphics, and physical design. Visualisations, code, and models are available at https://yimingc9.github.io/physiformer.