SIM1: Simulatore Allineato alla Fisica come Scalatore di Dati Zero-Shot in Mondi Deformabili

Abstract

La manipolazione robotica di oggetti deformabili rappresenta un regime ad alta intensità di dati nell'apprendimento embodied, in cui forma, contatto e topologia co-evolvono in modi che superano di gran lunga la variabilità dei corpi rigidi. Sebbene la simulazione prometta di alleviare i costi di acquisizione dei dati del mondo reale, le pipeline sim-to-real prevalenti rimangono radicate nelle astrazioni dei corpi rigidi, producendo una geometria non corrispondente, dinamiche soffici fragili e primitive di movimento poco adatte all'interazione con tessuti. Noi ipotizziamo che la simulazione fallisca non perché sia sintetica, ma perché non sia ancorata alla realtà. Per affrontare ciò, introduciamo SIM1, un motore di dati real-to-sim-to-real allineato alla fisica che ancorala simulazione al mondo fisico. Data una serie limitata di dimostrazioni, il sistema digitalizza le scene in gemelli metricamente consistenti, calibra le dinamiche deformabili attraverso la modellazione elastica ed espande i comportamenti tramite una generazione di traiettorie basata su diffusione con filtraggio di qualità. Questa pipeline trasforma osservazioni sparse in una supervisione sintetica scalabile con una fedeltà prossima a quella dimostrativa. Gli esperimenti mostrano che politiche addestrate su dati puramente sintetici raggiungono la parità con i baseline di dati reali con un rapporto di equivalenza di 1:15, ottenendo allo stesso tempo il 90% di successo in zero-shot e un miglioramento del 50% nella generalizzazione durante il dispiegamento nel mondo reale. Questi risultati convalidano la simulazione allineata alla fisica come supervisione scalabile per la manipolazione di deformabili e una via pratica per l'apprendimento di politiche efficiente in termini di dati.

English

Robotic manipulation with deformable objects represents a data-intensive regime in embodied learning, where shape, contact, and topology co-evolve in ways that far exceed the variability of rigids. Although simulation promises relief from the cost of real-world data acquisition, prevailing sim-to-real pipelines remain rooted in rigid-body abstractions, producing mismatched geometry, fragile soft dynamics, and motion primitives poorly suited for cloth interaction. We posit that simulation fails not for being synthetic, but for being ungrounded. To address this, we introduce SIM1, a physics-aligned real-to-sim-to-real data engine that grounds simulation in the physical world. Given limited demonstrations, the system digitizes scenes into metric-consistent twins, calibrates deformable dynamics through elastic modeling, and expands behaviors via diffusion-based trajectory generation with quality filtering. This pipeline transforms sparse observations into scaled synthetic supervision with near-demonstration fidelity. Experiments show that policies trained on purely synthetic data achieve parity with real-data baselines at a 1:15 equivalence ratio, while delivering 90% zero-shot success and 50% generalization gains in real-world deployment. These results validate physics-aligned simulation as scalable supervision for deformable manipulation and a practical pathway for data-efficient policy learning.

SIM1: Simulatore Allineato alla Fisica come Scalatore di Dati Zero-Shot in Mondi Deformabili

SIM1: Physics-Aligned Simulator as Zero-Shot Data Scaler in Deformable Worlds

Abstract

Support