PhysiFormer: Lernen, Mechanik im Weltkoordinatenraum zu simulieren

Zusammenfassung

Wir stellen PhysiFormer vor, einen Diffusions-Transformer für physikalisch plausible 3D-Objektbewegungen. Anders als Videoweltmodelle, die in ansichtsabhängigem Pixelraum operieren, repräsentiert PhysiFormer Objekte als 3D-Meshes in Weltkoordinaten. Ausgehend von den anfänglichen Vertex-Positionen und -Geschwindigkeiten sowie dem Objektmaterialtyp (starr oder elastisch) sampelt das Modell zukünftige Vertex-Trajektorien. Während verwandte neuronale Physikansätze auf ad-hoc latenten Räumen aufbauen oder Starrheit und Kausalität explizit erzwingen, zeigt PhysiFormer, dass hervorragende Ergebnisse ohne solche induktiven Biases erzielt werden können, indem die Prädiktion von Vertex-Trajektorien als einzelner Denoising-Diffusionsprozess direkt in Weltkoordinaten formuliert wird. Die probabilistische Formulierung erfasst Unsicherheit in der erlernten Dynamik und ermöglicht diverse plausible Zukünfte aus Anfangsbedingungen, was dieses Framework potenziell nützlich für Anwendungen mit unbeobachteter Unsicherheit macht. Das Modell verfügt über eine über Zeit, Raum und Objekte faktorisierte Aufmerksamkeit für Effizienz, was permutationsinvariante Multi-Objekt-Argumentation ohne explizite Objektkodierung ermöglicht. Trainiert auf über 100.000 simulierten Trajektorien generiert PhysiFormer starre und elastische Mechanik und generalisiert auf gemischte Materialszenarien, ungesehene reale Geometrien und größere Objektanzahlen. Es übertrifft autoregressive Baselines deutlich in Trajektoriengenauigkeit, Starrheitserhaltung und impulsbasierter physikalischer Konsistenz. Unsere Ergebnisse positionieren koordinatenraum-basierte Diffusion als vielversprechenden Schritt hin zu ansichtsinvariantem, geometriebewusstem Weltmodellieren für Robotik, Grafik und physikalisches Design. Visualisierungen, Code und Modelle sind unter https://yimingc9.github.io/physiformer verfügbar.

English

We present PhysiFormer, a diffusion transformer for physically-plausible 3D object motion. Unlike video world models that operate in view-dependent pixel space, PhysiFormer represents objects as 3D meshes expressed in world coordinates. Given the initial vertex positions and velocities, as well as object material type, rigid or elastic, the model samples future vertex trajectories. While related neural physics approaches build on ad-hoc latent spaces or explicitly enforce rigidity and causality, PhysiFormer shows that excellent results can be obtained without any such inductive biases, by casting vertex trajectory prediction as a single denoising diffusion process directly in world coordinates. The probabilistic formulation captures uncertainty in the learned dynamics, enabling diverse plausible futures from initial conditions, making this framework potentially useful for applications with unobserved uncertainty. The model features attention factorised over time, space, and objects for efficiency, enabling permutation-invariant multi-object reasoning without needing explicit object encoding. Trained on over 100k simulated trajectories, PhysiFormer generates rigid and elastic mechanics, and generalises to mixed-material settings, unseen real-world geometries, and larger object counts. It substantially outperforms autoregressive baselines in trajectory accuracy, rigidity preservation, and momentum-based physical consistency. Our results position coordinate-space diffusion as a promising step toward view-invariant, geometry-aware world modelling for robotics, graphics, and physical design. Visualisations, code, and models are available at https://yimingc9.github.io/physiformer.