PhysiFormer : Apprendre à simuler la mécanique dans l'espace monde

Résumé

Nous présentons PhysiFormer, un transformeur de diffusion pour le mouvement d'objets 3D physiquement plausible. Contrairement aux modèles de monde vidéo qui opèrent dans un espace pixel dépendant de la vue, PhysiFormer représente les objets sous forme de maillages 3D exprimés en coordonnées du monde. Étant donné les positions et vitesses initiales des sommets, ainsi que le type de matériau de l'objet, rigide ou élastique, le modèle échantillonne les trajectoires futures des sommets. Alors que les approches de physique neuronale connexes reposent sur des espaces latents ad hoc ou imposent explicitement la rigidité et la causalité, PhysiFormer montre que d'excellents résultats peuvent être obtenus sans aucun de ces biais inductifs, en traitant la prédiction des trajectoires des sommets comme un unique processus de diffusion par débruitage directement dans les coordonnées du monde. La formulation probabiliste capture l'incertitude dans la dynamique apprise, permettant de générer des futurs divers et plausibles à partir de conditions initiales, ce qui rend ce cadre potentiellement utile pour des applications présentant une incertitude non observée. Le modèle dispose d'une attention factorisée sur le temps, l'espace et les objets pour l'efficacité, permettant un raisonnement multi-objets invariant par permutation sans nécessiter de codage explicite des objets. Entraîné sur plus de 100 000 trajectoires simulées, PhysiFormer génère des mécaniques rigides et élastiques, et généralise à des contextes de matériaux mixtes, des géométries réelles non vues et un nombre plus élevé d'objets. Il surpasse nettement les références autorégressives en termes de précision des trajectoires, de préservation de la rigidité et de cohérence physique basée sur la quantité de mouvement. Nos résultats positionnent la diffusion dans l'espace des coordonnées comme une étape prometteuse vers une modélisation du monde invariante par rapport à la vue et consciente de la géométrie pour la robotique, l'infographie et la conception physique. Les visualisations, le code et les modèles sont disponibles à l'adresse https://yimingc9.github.io/physiformer.

English

We present PhysiFormer, a diffusion transformer for physically-plausible 3D object motion. Unlike video world models that operate in view-dependent pixel space, PhysiFormer represents objects as 3D meshes expressed in world coordinates. Given the initial vertex positions and velocities, as well as object material type, rigid or elastic, the model samples future vertex trajectories. While related neural physics approaches build on ad-hoc latent spaces or explicitly enforce rigidity and causality, PhysiFormer shows that excellent results can be obtained without any such inductive biases, by casting vertex trajectory prediction as a single denoising diffusion process directly in world coordinates. The probabilistic formulation captures uncertainty in the learned dynamics, enabling diverse plausible futures from initial conditions, making this framework potentially useful for applications with unobserved uncertainty. The model features attention factorised over time, space, and objects for efficiency, enabling permutation-invariant multi-object reasoning without needing explicit object encoding. Trained on over 100k simulated trajectories, PhysiFormer generates rigid and elastic mechanics, and generalises to mixed-material settings, unseen real-world geometries, and larger object counts. It substantially outperforms autoregressive baselines in trajectory accuracy, rigidity preservation, and momentum-based physical consistency. Our results position coordinate-space diffusion as a promising step toward view-invariant, geometry-aware world modelling for robotics, graphics, and physical design. Visualisations, code, and models are available at https://yimingc9.github.io/physiformer.