SimFoundry: Modulare und automatisierte Szenengenerierung für Policy-Lernen und -Evaluierung

Zusammenfassung

Das Trainieren und Evaluieren von Roboterpolitiken in der realen Welt ist kostspielig und schwer skalierbar. Wir stellen SimFoundry vor, ein modulares und automatisiertes System zur Zero-Shot-Real-zu-Sim-Szenenkonstruktion aus einem Video. SimFoundry erzeugt simulationsbereite digitale Zwillinge und unterstützt die Bearbeitung von Objekten, Szenen und Aufgaben, was die automatisierte Generierung vielfältiger digitaler Cousins ermöglicht: afforderungserhaltende Variationen rekonstruierter realer Szenen. Mit SimFoundry-Daten trainierte Politiken übertragen sich Zero-Shot auf anspruchsvolle reale Aufgaben, die mehrschrittige Manipulation, Interaktion mit Gelenkobjekten und bimanuelle Interaktion umfassen, und ihre digitalen Cousins (Variationen der ursprünglichen Szene, Objekte und Aufgaben) erleichtern die Verallgemeinerung auf neue reale Bedingungen. Über 7 Manipulationsaufgaben und 5 Politikenarchitekturen hinweg sagen SimFoundry-Simulationsbewertungen die reale Leistung stark voraus, mit einer mittleren Pearson-Korrelation von 0,911 und einer mittleren maximalen Rangverletzung von 0,018. Bei der Zero-Shot-Evaluierung sim-trainierter Politiken in der realen Welt zeigen mit Objekt-, Szenen- und Aufgaben-Cousins in der Simulation trainierte Politiken durchschnittliche Verbesserungen der Aufgabenerfolgsrate von 17 %, 21 % bzw. 40 %. Weitere Details unter https://research.nvidia.com/labs/gear/simfoundry/ .

English

Training and evaluating robot policies in the real world is costly and difficult to scale. We introduce SimFoundry, a modular and automated system for zero-shot real-to-sim scene construction from a video. SimFoundry generates sim-ready digital twins and supports object, scene, and task editing, enabling the automated generation of diverse digital cousins: affordance-preserving variations of reconstructed real-world scenes. Policies trained on SimFoundry data transfer zero-shot to challenging real tasks involving multi-step manipulation, articulated object interaction, and bimanual interaction, and its digital cousins (variations of the original scene, objects, and tasks) facilitate generalization to new real-world conditions. Across 7 manipulation tasks and 5 policy architectures, SimFoundry simulation evaluations strongly predict real-world performance, with mean Pearson correlation 0.911 and mean maximum ranking violation 0.018. When evaluating sim-trained policies zero-shot in the real world, policies trained with object, scene, and task cousins in simulation show average task success rate improvements of 17%, 21%, and 40%, respectively. Additional details at https://research.nvidia.com/labs/gear/simfoundry/ .