SoMA: ロボットによる軟体操作のための実世界-シミュレーション対応ニューラルシミュレータ

SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation

February 2, 2026

著者: Mu Huang, Hui Wang, Kerui Ren, Linning Xu, Yunsong Zhou, Mulin Yu, Bo Dai, Jiangmiao Pang

cs.AI

要旨

豊富な相互作用下での変形可能物体のシミュレーションは、環境効果とロボット動作によって共同で駆動されるダイナミクスを伴い、実世界とシミュレーションを往還するロボットマニピュレーションにおける根本的な課題であり続けている。既存のシミュレータは、ロボットの状態を条件付けない事前定義された物理法則またはデータ駆動型ダイナミクスに依存しており、精度、安定性、一般化が制限されている。本論文は、軟体マニピュレーションのための3DガウシアンスプラッティングシミュレータであるSoMAを提案する。SoMAは、変形ダイナミクス、環境力、およびロボット関節動作を統合潜在神経空間で結合し、エンドツーエンドの実世界-シミュレーション往還を実現する。学習済みガウシアンスプラット上での相互作用をモデル化することで、制御可能で安定した長期的マニピュレーションと、事前定義された物理モデルを必要とせずに観測軌跡を超えた一般化を可能にする。SoMAは、実世界のロボットマニピュレーションにおける再シミュレーション精度と一般化を20%向上させ、長期的な布地折りたたみなどの複雑なタスクの安定したシミュレーションを実現する。

English

Simulating deformable objects under rich interactions remains a fundamental challenge for real-to-sim robot manipulation, with dynamics jointly driven by environmental effects and robot actions. Existing simulators rely on predefined physics or data-driven dynamics without robot-conditioned control, limiting accuracy, stability, and generalization. This paper presents SoMA, a 3D Gaussian Splat simulator for soft-body manipulation. SoMA couples deformable dynamics, environmental forces, and robot joint actions in a unified latent neural space for end-to-end real-to-sim simulation. Modeling interactions over learned Gaussian splats enables controllable, stable long-horizon manipulation and generalization beyond observed trajectories without predefined physical models. SoMA improves resimulation accuracy and generalization on real-world robot manipulation by 20%, enabling stable simulation of complex tasks such as long-horizon cloth folding.