SIM1: Natuurkundig Uitgelijnde Simulator als Zero-Shot Data Scaler in Vervormbare Werelden

SIM1: Physics-Aligned Simulator as Zero-Shot Data Scaler in Deformable Worlds

April 9, 2026

Auteurs: Yunsong Zhou, Hangxu Liu, Xuekun Jiang, Xing Shen, Yuanzhen Zhou, Hui Wang, Baole Fang, Yang Tian, Mulin Yu, Qiaojun Yu, Li Ma, Hengjie Li, Hanqing Wang, Jia Zeng, Jiangmiao Pang

cs.AI

Samenvatting

Robotmanipulatie met vervormbare objecten vertegenwoordigt een data-intensief regime in embodied learning, waarbij vorm, contact en topologie gezamenlijk evolueren op manieren die de variabiliteit van rigide lichamen ver overstijgen. Hoewel simulatie soelaas belooft voor de kosten van gegevensverzameling in de echte wereld, blijven gangbare sim-to-real-pipelines verankerd in rigide-lichaamabstracties, wat leidt tot ongepaste geometrie, fragiele zachte dynamiek en bewegingsprimitieven die slecht geschikt zijn voor interactie met textiel. Wij stellen dat simulatie niet faalt omdat ze synthetisch is, maar omdat ze niet gegrond is. Om dit aan te pakken, introduceren wij SIM1, een fysica-gelijkende real-to-sim-to-real data-engine die simulatie verankert in de fysieke wereld. Gegeven een beperkt aantal demonstraties digitaliseert het systeem scènes tot metriek-consistente tweelingen, kalibreert vervormbare dynamica via elastische modellering, en breidt gedrag uit via diffusiegebaseerde trajectgeneratie met kwaliteitsfiltering. Deze pijplijn transformeert schaarse observaties naar geschaalde synthetische supervisie met een getrouwheid die bijna gelijk is aan de demonstratie. Experimenten tonen aan dat beleidsregels, getraind op puur synthetische data, een gelijkwaardigheid bereiken met baseline-methoden die op echte data zijn getraind, bij een equivalentieverhouding van 1:15, terwijl ze in real-world-implementatie 90% zero-shot-succes en 50% generalisatiewinst opleveren. Deze resultaten valideren fysica-gelijkende simulatie als schaalbare supervisie voor vervormbare manipulatie en een praktische weg naar data-efficiënt beleidsleren.

English

Robotic manipulation with deformable objects represents a data-intensive regime in embodied learning, where shape, contact, and topology co-evolve in ways that far exceed the variability of rigids. Although simulation promises relief from the cost of real-world data acquisition, prevailing sim-to-real pipelines remain rooted in rigid-body abstractions, producing mismatched geometry, fragile soft dynamics, and motion primitives poorly suited for cloth interaction. We posit that simulation fails not for being synthetic, but for being ungrounded. To address this, we introduce SIM1, a physics-aligned real-to-sim-to-real data engine that grounds simulation in the physical world. Given limited demonstrations, the system digitizes scenes into metric-consistent twins, calibrates deformable dynamics through elastic modeling, and expands behaviors via diffusion-based trajectory generation with quality filtering. This pipeline transforms sparse observations into scaled synthetic supervision with near-demonstration fidelity. Experiments show that policies trained on purely synthetic data achieve parity with real-data baselines at a 1:15 equivalence ratio, while delivering 90% zero-shot success and 50% generalization gains in real-world deployment. These results validate physics-aligned simulation as scalable supervision for deformable manipulation and a practical pathway for data-efficient policy learning.