SoMA: Нейросетевой симулятор реальности для роботизированного манипулирования мягкими объектами
SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation
February 2, 2026
Авторы: Mu Huang, Hui Wang, Kerui Ren, Linning Xu, Yunsong Zhou, Mulin Yu, Bo Dai, Jiangmiao Pang
cs.AI
Аннотация
Моделирование деформируемых объектов в условиях интенсивного взаимодействия остается фундаментальной проблемой для реалистичной симуляции роботизированного манипулирования, где динамика совместно определяется воздействием окружающей среды и действиями робота. Существующие симуляторы полагаются на предопределенную физику или данные о динамике без учета управляющих воздействий со стороны робота, что ограничивает точность, стабильность и обобщающую способность. В данной статье представлен SoMA — симулятор на основе 3D гауссовских сплатов для манипулирования мягкими телами. SoMA объединяет динамику деформируемых объектов, силы окружающей среды и действия сочленений робота в едином латентном нейросетевом пространстве для сквозной реалистичной симуляции. Моделирование взаимодействий на основе обученных гауссовских сплатов обеспечивает управляемое, стабильное манипулирование на длительных горизонтах и обобщение за пределы наблюдаемых траекторий без использования предопределенных физических моделей. SoMA повышает точность повторной симуляции и обобщающую способность для реального роботизированного манипулирования на 20%, обеспечивая стабильное моделирование сложных задач, таких как складывание ткани на длительных горизонтах.
English
Simulating deformable objects under rich interactions remains a fundamental challenge for real-to-sim robot manipulation, with dynamics jointly driven by environmental effects and robot actions. Existing simulators rely on predefined physics or data-driven dynamics without robot-conditioned control, limiting accuracy, stability, and generalization. This paper presents SoMA, a 3D Gaussian Splat simulator for soft-body manipulation. SoMA couples deformable dynamics, environmental forces, and robot joint actions in a unified latent neural space for end-to-end real-to-sim simulation. Modeling interactions over learned Gaussian splats enables controllable, stable long-horizon manipulation and generalization beyond observed trajectories without predefined physical models. SoMA improves resimulation accuracy and generalization on real-world robot manipulation by 20%, enabling stable simulation of complex tasks such as long-horizon cloth folding.