SimFoundry: modulaire en geautomatiseerde scènegeneratie voor beleidsleren en beleidsevaluatie

Samenvatting

Het trainen en evalueren van robotbeleid in de echte wereld is kostbaar en moeilijk op te schalen. We introduceren SimFoundry, een modulair en geautomatiseerd systeem voor zero-shot real-to-sim scèneconstructie op basis van een video. SimFoundry genereert sim-klare digitale tweelingen en ondersteunt bewerking van objecten, scènes en taken, waardoor de geautomatiseerde generatie van diverse digitale neven mogelijk wordt: affordantie-behoudende variaties van gereconstrueerde real-world scènes. Beleid getraind op SimFoundry-gegevens wordt zero-shot overgedragen naar uitdagende real-world taken waarbij meerstapsmanipulatie, interactie met gearticuleerde objecten en bimanuele interactie komen kijken, en de digitale neven (variaties van de oorspronkelijke scène, objecten en taken) vergemakkelijken generalisatie naar nieuwe real-world omstandigheden. Over 7 manipulatietaken en 5 beleidsarchitecturen heen voorspellen SimFoundry-simulatie-evaluaties de real-world prestaties sterk, met een gemiddelde Pearson-correlatie van 0,911 en een gemiddelde maximale rangschikkingsschending van 0,018. Bij het zero-shot evalueren van sim-getraind beleid in de echte wereld, vertoont beleid dat is getraind met object-, scène- en taakneven in simulatie een gemiddelde verbetering van het taaksuccespercentage van respectievelijk 17%, 21% en 40%. Aanvullende details op https://research.nvidia.com/labs/gear/simfoundry/ .

English

Training and evaluating robot policies in the real world is costly and difficult to scale. We introduce SimFoundry, a modular and automated system for zero-shot real-to-sim scene construction from a video. SimFoundry generates sim-ready digital twins and supports object, scene, and task editing, enabling the automated generation of diverse digital cousins: affordance-preserving variations of reconstructed real-world scenes. Policies trained on SimFoundry data transfer zero-shot to challenging real tasks involving multi-step manipulation, articulated object interaction, and bimanual interaction, and its digital cousins (variations of the original scene, objects, and tasks) facilitate generalization to new real-world conditions. Across 7 manipulation tasks and 5 policy architectures, SimFoundry simulation evaluations strongly predict real-world performance, with mean Pearson correlation 0.911 and mean maximum ranking violation 0.018. When evaluating sim-trained policies zero-shot in the real world, policies trained with object, scene, and task cousins in simulation show average task success rate improvements of 17%, 21%, and 40%, respectively. Additional details at https://research.nvidia.com/labs/gear/simfoundry/ .