SIM1: Physikalisch ausgerichteter Simulator als Zero-Shot-Daten-Scaler in deformierbaren Welten

Zusammenfassung

Robotic Manipulation mit verformbaren Objekten stellt ein datenintensives Regime im embodied Learning dar, bei dem sich Form, Kontakt und Topologie gemeinsam entwickeln – in einer Weise, die die Variabilität starrer Körper bei weitem übersteigt. Obwohl Simulation Abhilfe von den Kosten der Datenerfassung in der realen Welt verspricht, bleiben gängige Sim-to-Real-Pipelines in Starrkörperabstraktionen verhaftet, was zu nicht übereinstimmender Geometrie, fragilen Weichkörperdynamiken und für Stoffinteraktion ungeeigneten Bewegungsprimitive führt. Wir postulieren, dass Simulation nicht daran scheitert, synthetisch zu sein, sondern daran, unbegründet zu sein. Um dies zu adressieren, führen wir SIM1 ein, eine physikalisch-abgestimmte Real-to-Sim-to-Real-Datenengine, die die Simulation in der physischen Welt verankert. Auf der Grundlage begrenzter Demonstrationen digitalisiert das System Szenen zu metrik-konsistenten Digitalen Zwillingen, kalibriert die Deformationsdynamik durch elastische Modellierung und erweitert Verhaltensweisen mittels diffusionsbasierter Trajektoriengenerierung mit Qualitätsfilterung. Diese Pipeline transformiert spärliche Beobachtungen in skalierte synthetische Supervision mit nahezu demonstrationsgetreuer Wiedergabetreue. Experimente zeigen, dass Policies, die ausschließlich auf synthetischen Daten trainiert wurden, eine Parität mit Real-Daten-Baselines bei einem Äquivalenzverhältnis von 1:15 erreichen und dabei 90% Zero-Shot-Erfolg sowie 50% Generalisierungsgewinne im realen Einsatz erzielen. Diese Ergebnisse validieren physikalisch-abgestimmte Simulation als skalierbare Supervision für die Manipulation verformbarer Objekte und einen praktischen Pfad für dateneffizientes Policy-Learning.

English

Robotic manipulation with deformable objects represents a data-intensive regime in embodied learning, where shape, contact, and topology co-evolve in ways that far exceed the variability of rigids. Although simulation promises relief from the cost of real-world data acquisition, prevailing sim-to-real pipelines remain rooted in rigid-body abstractions, producing mismatched geometry, fragile soft dynamics, and motion primitives poorly suited for cloth interaction. We posit that simulation fails not for being synthetic, but for being ungrounded. To address this, we introduce SIM1, a physics-aligned real-to-sim-to-real data engine that grounds simulation in the physical world. Given limited demonstrations, the system digitizes scenes into metric-consistent twins, calibrates deformable dynamics through elastic modeling, and expands behaviors via diffusion-based trajectory generation with quality filtering. This pipeline transforms sparse observations into scaled synthetic supervision with near-demonstration fidelity. Experiments show that policies trained on purely synthetic data achieve parity with real-data baselines at a 1:15 equivalence ratio, while delivering 90% zero-shot success and 50% generalization gains in real-world deployment. These results validate physics-aligned simulation as scalable supervision for deformable manipulation and a practical pathway for data-efficient policy learning.

SIM1: Physikalisch ausgerichteter Simulator als Zero-Shot-Daten-Scaler in deformierbaren Welten

SIM1: Physics-Aligned Simulator as Zero-Shot Data Scaler in Deformable Worlds

Zusammenfassung

Support