SoMA: Een Real-to-Sim Neurale Simulator voor de Manipulatie van Robotic Soft-body
SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation
February 2, 2026
Auteurs: Mu Huang, Hui Wang, Kerui Ren, Linning Xu, Yunsong Zhou, Mulin Yu, Bo Dai, Jiangmiao Pang
cs.AI
Samenvatting
Het simuleren van vervormbare objecten onder rijke interacties blijft een fundamentele uitdaging voor real-to-sim robotmanipulatie, waarbij de dynamica gezamenlijk wordt aangedreven door omgevingseffecten en robotacties. Bestaande simulatoren vertrouwen op vooraf gedefinieerde fysica of data-gedreven dynamiek zonder robot-gestoorde controle, wat de nauwkeurigheid, stabiliteit en generalisatie beperkt. Dit artikel presenteert SoMA, een 3D Gaussian Splat-simulator voor zachte lichaammanipulatie. SoMA koppelt vervormbare dynamica, omgevingskrachten en robotgewrichtsacties in een verenigde latente neurale ruimte voor end-to-end real-to-sim simulatie. Het modelleren van interacties op geleerde Gaussian splats maakt controleerbare, stabiele manipulatie op lange termijn en generalisatie voorbij waargenomen trajecten mogelijk, zonder vooraf gedefinieerde fysieke modellen. SoMA verbetert de resimulatienauwkeurigheid en generalisatie bij real-world robotmanipulatie met 20%, waardoor stabiele simulatie van complexe taken zoals het vouwen van textiel op lange termijn mogelijk wordt.
English
Simulating deformable objects under rich interactions remains a fundamental challenge for real-to-sim robot manipulation, with dynamics jointly driven by environmental effects and robot actions. Existing simulators rely on predefined physics or data-driven dynamics without robot-conditioned control, limiting accuracy, stability, and generalization. This paper presents SoMA, a 3D Gaussian Splat simulator for soft-body manipulation. SoMA couples deformable dynamics, environmental forces, and robot joint actions in a unified latent neural space for end-to-end real-to-sim simulation. Modeling interactions over learned Gaussian splats enables controllable, stable long-horizon manipulation and generalization beyond observed trajectories without predefined physical models. SoMA improves resimulation accuracy and generalization on real-world robot manipulation by 20%, enabling stable simulation of complex tasks such as long-horizon cloth folding.