SoMA: Un Simulatore Neurale da Reale a Virtuale per la Manipolazione Robotica di Corpi Soffici
SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation
February 2, 2026
Autori: Mu Huang, Hui Wang, Kerui Ren, Linning Xu, Yunsong Zhou, Mulin Yu, Bo Dai, Jiangmiao Pang
cs.AI
Abstract
La simulazione di oggetti deformabili in contesti di interazione complessa rimane una sfida fondamentale per la manipolazione robotica real-to-sim, con una dinamica guidata congiuntamente dagli effetti ambientali e dalle azioni del robot. I simulatori esistenti si basano su modelli fisici predefiniti o su dinamiche apprese dai dati senza un controllo condizionato all'agente robotico, limitando accuratezza, stabilità e generalizzazione. Questo articolo presenta SoMA, un simulatore basato su 3D Gaussian Splatting per la manipolazione di corpi molli. SoMA accoppia la dinamica deformabile, le forze ambientali e le azioni cinematiche del robot in uno spazio neurale latente unificato per una simulazione real-to-sim end-to-end. Modellare le interazioni su splat gaussiani appresi consente una manipolazione controllabile e stabile su orizzonti temporali lunghi e una generalizzazione oltre le traiettorie osservate, senza ricorrere a modelli fisici predefiniti. SoMA migliora l'accuratezza di risimulazione e la generalizzazione nella manipolazione robotica del mondo reale del 20%, permettendo la simulazione stabile di compiti complessi come la piegatura di tessuti su lunghi orizzonti temporali.
English
Simulating deformable objects under rich interactions remains a fundamental challenge for real-to-sim robot manipulation, with dynamics jointly driven by environmental effects and robot actions. Existing simulators rely on predefined physics or data-driven dynamics without robot-conditioned control, limiting accuracy, stability, and generalization. This paper presents SoMA, a 3D Gaussian Splat simulator for soft-body manipulation. SoMA couples deformable dynamics, environmental forces, and robot joint actions in a unified latent neural space for end-to-end real-to-sim simulation. Modeling interactions over learned Gaussian splats enables controllable, stable long-horizon manipulation and generalization beyond observed trajectories without predefined physical models. SoMA improves resimulation accuracy and generalization on real-world robot manipulation by 20%, enabling stable simulation of complex tasks such as long-horizon cloth folding.