SIM1 : Simulateur aligné sur la physique comme amplificateur de données zero-shot dans les mondes déformables

Résumé

La manipulation robotique d'objets déformables représente un régime d'apprentissage incarné très gourmand en données, où la forme, le contact et la topologie co-évoluent d'une manière qui dépasse largement la variabilité des objets rigides. Bien que la simulation promette de réduire le coût de l'acquisition de données réelles, les pipelines classiques de transfert simulation-réel restent ancrés dans des abstractions de corps rigides, produisant une géométrie inadéquate, une dynamique molle fragile et des primitives de mouvement peu adaptées à l'interaction avec les tissus. Nous postulons que l'échec de la simulation ne vient pas de son caractère synthétique, mais de son manque d'ancrage physique. Pour résoudre ce problème, nous présentons SIM1, un moteur de données réel-vers-sim-vers-réel aligné sur la physique qui ancre la simulation dans le monde physique. À partir de démonstrations limitées, le système numérise les scènes en des jumeaux numériques métriquement cohérents, étalonne la dynamique des déformables via une modélisation élastique, et enrichit les comportements par une génération de trajectoires basée sur la diffusion avec un filtrage qualité. Ce pipeline transforme des observations éparses en une supervision synthétique à grande échelle avec une fidélité proche de la démonstration. Les expériences montrent que les politiques entraînées sur des données purement synthétiques atteignent des performances équivalentes à celles de modèles de référence utilisant des données réelles avec un ratio d'équivalence de 1:15, tout en obtenant 90% de succès en zéro-shot et 50% de gains en généralisation lors d'un déploiement réel. Ces résultats valident la simulation alignée sur la physique comme une supervision scalable pour la manipulation de déformables et une voie pratique pour un apprentissage de politiques économe en données.

English

Robotic manipulation with deformable objects represents a data-intensive regime in embodied learning, where shape, contact, and topology co-evolve in ways that far exceed the variability of rigids. Although simulation promises relief from the cost of real-world data acquisition, prevailing sim-to-real pipelines remain rooted in rigid-body abstractions, producing mismatched geometry, fragile soft dynamics, and motion primitives poorly suited for cloth interaction. We posit that simulation fails not for being synthetic, but for being ungrounded. To address this, we introduce SIM1, a physics-aligned real-to-sim-to-real data engine that grounds simulation in the physical world. Given limited demonstrations, the system digitizes scenes into metric-consistent twins, calibrates deformable dynamics through elastic modeling, and expands behaviors via diffusion-based trajectory generation with quality filtering. This pipeline transforms sparse observations into scaled synthetic supervision with near-demonstration fidelity. Experiments show that policies trained on purely synthetic data achieve parity with real-data baselines at a 1:15 equivalence ratio, while delivering 90% zero-shot success and 50% generalization gains in real-world deployment. These results validate physics-aligned simulation as scalable supervision for deformable manipulation and a practical pathway for data-efficient policy learning.

SIM1 : Simulateur aligné sur la physique comme amplificateur de données zero-shot dans les mondes déformables

SIM1: Physics-Aligned Simulator as Zero-Shot Data Scaler in Deformable Worlds

Résumé

Support