SimFoundry: Generación Modular y Automatizada de Escenas para el Aprendizaje y Evaluación de Políticas

Resumen

Entrenar y evaluar políticas robóticas en el mundo real es costoso y difícil de escalar. Presentamos SimFoundry, un sistema modular y automatizado para la construcción cero-disparo de escenas reales a simuladas a partir de un video. SimFoundry genera gemelos digitales listos para simulación y permite la edición de objetos, escenas y tareas, posibilitando la generación automatizada de diversos primos digitales: variaciones que preservan las affordances de escenas del mundo real reconstruidas. Las políticas entrenadas con datos de SimFoundry se transfieren sin necesidad de ajuste a tareas reales desafiantes que involucran manipulación en múltiples pasos, interacción con objetos articulados e interacción bimanual; sus primos digitales (variaciones de la escena, objetos y tareas originales) facilitan la generalización a nuevas condiciones del mundo real. En 7 tareas de manipulación y 5 arquitecturas de políticas, las evaluaciones de simulación de SimFoundry predicen fuertemente el rendimiento en el mundo real, con una correlación media de Pearson de 0.911 y una violación máxima media de ranking de 0.018. Al evaluar políticas entrenadas en simulación de manera cero-disparo en el mundo real, las políticas entrenadas con primos de objetos, escenas y tareas en simulación muestran mejoras promedio en la tasa de éxito de las tareas del 17 %, 21 % y 40 %, respectivamente. Más detalles en https://research.nvidia.com/labs/gear/simfoundry/.

English

Training and evaluating robot policies in the real world is costly and difficult to scale. We introduce SimFoundry, a modular and automated system for zero-shot real-to-sim scene construction from a video. SimFoundry generates sim-ready digital twins and supports object, scene, and task editing, enabling the automated generation of diverse digital cousins: affordance-preserving variations of reconstructed real-world scenes. Policies trained on SimFoundry data transfer zero-shot to challenging real tasks involving multi-step manipulation, articulated object interaction, and bimanual interaction, and its digital cousins (variations of the original scene, objects, and tasks) facilitate generalization to new real-world conditions. Across 7 manipulation tasks and 5 policy architectures, SimFoundry simulation evaluations strongly predict real-world performance, with mean Pearson correlation 0.911 and mean maximum ranking violation 0.018. When evaluating sim-trained policies zero-shot in the real world, policies trained with object, scene, and task cousins in simulation show average task success rate improvements of 17%, 21%, and 40%, respectively. Additional details at https://research.nvidia.com/labs/gear/simfoundry/ .