SoMA: Um Simulador Neural de Real para Virtual para Manipulação Robótica de Corpos Flexíveis
SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation
February 2, 2026
Autores: Mu Huang, Hui Wang, Kerui Ren, Linning Xu, Yunsong Zhou, Mulin Yu, Bo Dai, Jiangmiao Pang
cs.AI
Resumo
A simulação de objetos deformáveis sob interações complexas continua sendo um desafio fundamental para a manipulação robótica real-para-sim, com dinâmicas conduzidas conjuntamente por efeitos ambientais e ações do robô. Os simuladores existentes dependem de física predefinida ou dinâmicas baseadas em dados sem controle condicionado pelo robô, limitando a precisão, a estabilidade e a generalização. Este artigo apresenta o SoMA, um simulador baseado em *Splatting* de Gaussianas 3D para manipulação de corpos moles. O SoMA acopla dinâmicas deformáveis, forças ambientais e ações articuladas do robô em um espaço neural latente unificado para simulação real-para-sim de ponta a ponta. A modelagem de interações sobre *splats* gaussianos aprendidos permite uma manipulação controlável, estável de longo horizonte e generalização além das trajetórias observadas, sem a necessidade de modelos físicos predefinidos. O SoMA melhora a precisão da re-simulação e a generalização na manipulação robótica do mundo real em 20%, permitindo a simulação estável de tarefas complexas, como a dobragem de tecido em longo horizonte.
English
Simulating deformable objects under rich interactions remains a fundamental challenge for real-to-sim robot manipulation, with dynamics jointly driven by environmental effects and robot actions. Existing simulators rely on predefined physics or data-driven dynamics without robot-conditioned control, limiting accuracy, stability, and generalization. This paper presents SoMA, a 3D Gaussian Splat simulator for soft-body manipulation. SoMA couples deformable dynamics, environmental forces, and robot joint actions in a unified latent neural space for end-to-end real-to-sim simulation. Modeling interactions over learned Gaussian splats enables controllable, stable long-horizon manipulation and generalization beyond observed trajectories without predefined physical models. SoMA improves resimulation accuracy and generalization on real-world robot manipulation by 20%, enabling stable simulation of complex tasks such as long-horizon cloth folding.