SoMA: Ein Real-to-Sim-Neuronaler Simulator für die robotische Manipulation weicher Körper
SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation
February 2, 2026
papers.authors: Mu Huang, Hui Wang, Kerui Ren, Linning Xu, Yunsong Zhou, Mulin Yu, Bo Dai, Jiangmiao Pang
cs.AI
papers.abstract
Die Simulation von verformbaren Objekten unter komplexen Wechselwirkungen bleibt eine grundlegende Herausforderung für die realitätsnahe Robotermanipulation, wobei die Dynamik gemeinsam durch Umgebungseinflüsse und Roboteraktionen angetrieben wird. Bestehende Simulatoren verlassen sich auf vordefinierte Physik oder datengestützte Dynamiken ohne roboter-konditionierte Steuerung, was Genauigkeit, Stabilität und Generalisierung einschränkt. Dieses Papier stellt SoMA vor, einen 3D-Gaussian-Splatting-Simulator für die Weichkörpermanipulation. SoMA koppelt deformierbare Dynamik, Umgebungskräfte und Roboter-Gelenkaktionen in einem einheitlichen latenten neuronalen Raum für eine End-to-End-realitätsnahe Simulation. Die Modellierung von Interaktionen über gelernte Gaußsche Splats ermöglicht kontrollierbare, stabile Langzeitsimulationen und Generalisierung über beobachtete Trajektorien hinaus ohne vordefinierte physikalische Modelle. SoMA verbessert die Resimulationsgenauigkeit und Generalisierung bei realer Robotermanipulation um 20 % und ermöglicht die stabile Simulation komplexer Aufgaben wie langfristiges Falten von Stoff.
English
Simulating deformable objects under rich interactions remains a fundamental challenge for real-to-sim robot manipulation, with dynamics jointly driven by environmental effects and robot actions. Existing simulators rely on predefined physics or data-driven dynamics without robot-conditioned control, limiting accuracy, stability, and generalization. This paper presents SoMA, a 3D Gaussian Splat simulator for soft-body manipulation. SoMA couples deformable dynamics, environmental forces, and robot joint actions in a unified latent neural space for end-to-end real-to-sim simulation. Modeling interactions over learned Gaussian splats enables controllable, stable long-horizon manipulation and generalization beyond observed trajectories without predefined physical models. SoMA improves resimulation accuracy and generalization on real-world robot manipulation by 20%, enabling stable simulation of complex tasks such as long-horizon cloth folding.