SoMA: 로봇 연성체 조작을 위한 실제-시뮬레이션 연계 신경망 시뮬레이터

초록

풍부한 상호작용 환경에서의 변형체 객체 시뮬레이션은 환경 효과와 로봇 동작에 의해 복합적으로 구동되는 역학으로 인해 실제-시뮬레이션 로봇 조작의 근본적인 과제로 남아 있습니다. 기존 시뮬레이터는 로봇 조건부 제어 없이 사전 정의된 물리 법칙이나 데이터 기반 역학에 의존하여 정확도, 안정성 및 일반화 성능이 제한됩니다. 본 논문은 소프트 바디 조작을 위한 3D 가우시안 스플랏 기반 시뮬레이터 SoMA를 제안합니다. SoMA는 변형체 역학, 환경 힘 및 로봇 관절 동작을 통합 잠재 신경망 공간에 결합하여 종단간 실제-시뮬레이션을 구현합니다. 학습된 가우시안 스플랏 상의 상호작용을 모델링함으로써 관측된 궤적을 넘어서는 제어 가능하고 안정적인 장기간 조작 및 일반화가 사전 정의된 물리 모델 없이 가능합니다. SoMA는 실제 로봇 조작 작업에서 재현 정확도와 일반화 성능을 20% 향상시키며, 장기간 옷감 접기와 같은 복잡한 작업의 안정적인 시뮬레이션을 가능하게 합니다.

English

Simulating deformable objects under rich interactions remains a fundamental challenge for real-to-sim robot manipulation, with dynamics jointly driven by environmental effects and robot actions. Existing simulators rely on predefined physics or data-driven dynamics without robot-conditioned control, limiting accuracy, stability, and generalization. This paper presents SoMA, a 3D Gaussian Splat simulator for soft-body manipulation. SoMA couples deformable dynamics, environmental forces, and robot joint actions in a unified latent neural space for end-to-end real-to-sim simulation. Modeling interactions over learned Gaussian splats enables controllable, stable long-horizon manipulation and generalization beyond observed trajectories without predefined physical models. SoMA improves resimulation accuracy and generalization on real-world robot manipulation by 20%, enabling stable simulation of complex tasks such as long-horizon cloth folding.

SoMA: 로봇 연성체 조작을 위한 실제-시뮬레이션 연계 신경망 시뮬레이터

SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation

초록

Support