SoMA : Un simulateur neuronal réel-vers-simulé pour la manipulation robotique de corps mous
SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation
February 2, 2026
papers.authors: Mu Huang, Hui Wang, Kerui Ren, Linning Xu, Yunsong Zhou, Mulin Yu, Bo Dai, Jiangmiao Pang
cs.AI
papers.abstract
La simulation d'objets déformables soumis à des interactions complexes reste un défi fondamental pour la manipulation robotique réaliste-simulée, avec une dynamique pilotée conjointement par les effets environnementaux et les actions du robot. Les simulateurs existants reposent sur une physique prédéfinie ou des dynamiques apprises par données sans contrôle conditionné par le robot, limitant la précision, la stabilité et la généralisation. Cet article présente SoMA, un simulateur par projection de gaussiennes 3D pour la manipulation de corps mous. SoMA couple la dynamique des déformations, les forces environnementales et les actions articulaires du robot dans un espace neuronal latent unifié pour une simulation réaliste-simulée de bout en bout. La modélisation des interactions sur des gaussiennes apprises permet une manipulation contrôlable et stable à long terme et une généralisation au-delà des trajectoires observées, sans modèles physiques prédéfinis. SoMA améliore la précision de resimulation et la généralisation sur des manipulations robotiques réelles de 20%, permettant la simulation stable de tâches complexes comme le pliage de tissu à long terme.
English
Simulating deformable objects under rich interactions remains a fundamental challenge for real-to-sim robot manipulation, with dynamics jointly driven by environmental effects and robot actions. Existing simulators rely on predefined physics or data-driven dynamics without robot-conditioned control, limiting accuracy, stability, and generalization. This paper presents SoMA, a 3D Gaussian Splat simulator for soft-body manipulation. SoMA couples deformable dynamics, environmental forces, and robot joint actions in a unified latent neural space for end-to-end real-to-sim simulation. Modeling interactions over learned Gaussian splats enables controllable, stable long-horizon manipulation and generalization beyond observed trajectories without predefined physical models. SoMA improves resimulation accuracy and generalization on real-world robot manipulation by 20%, enabling stable simulation of complex tasks such as long-horizon cloth folding.