SoMA: Un simulador neuronal de realidad a simulación para la manipulación robótica de cuerpos blandos
SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation
February 2, 2026
Autores: Mu Huang, Hui Wang, Kerui Ren, Linning Xu, Yunsong Zhou, Mulin Yu, Bo Dai, Jiangmiao Pang
cs.AI
Resumen
La simulación de objetos deformables bajo interacciones complejas sigue siendo un desafío fundamental para la manipulación robótica real-to-sim, con dinámicas impulsadas conjuntamente por efectos ambientales y acciones del robot. Los simuladores existentes dependen de física predefinida o dinámicas basadas en datos sin control condicionado por el robot, lo que limita la precisión, estabilidad y generalización. Este artículo presenta SoMA, un simulador basado en *Gaussian Splatting* 3D para la manipulación de cuerpos blandos. SoMA acopla dinámicas deformables, fuerzas ambientales y acciones articuladas del robot en un espacio neuronal latente unificado para simulación real-to-sim de extremo a extremo. Modelar interacciones sobre *splats* gaussianos aprendidos permite una manipulación estable y controlable a largo plazo, con generalización más allá de las trayectorias observadas, sin necesidad de modelos físicos predefinidos. SoMA mejora la precisión de resimulación y la generalización en manipulación robótica del mundo real en un 20%, permitiendo la simulación estable de tareas complejas como el plegado de tejidos a largo plazo.
English
Simulating deformable objects under rich interactions remains a fundamental challenge for real-to-sim robot manipulation, with dynamics jointly driven by environmental effects and robot actions. Existing simulators rely on predefined physics or data-driven dynamics without robot-conditioned control, limiting accuracy, stability, and generalization. This paper presents SoMA, a 3D Gaussian Splat simulator for soft-body manipulation. SoMA couples deformable dynamics, environmental forces, and robot joint actions in a unified latent neural space for end-to-end real-to-sim simulation. Modeling interactions over learned Gaussian splats enables controllable, stable long-horizon manipulation and generalization beyond observed trajectories without predefined physical models. SoMA improves resimulation accuracy and generalization on real-world robot manipulation by 20%, enabling stable simulation of complex tasks such as long-horizon cloth folding.