SimFoundry : Génération de scènes modulaire et automatisée pour l'apprentissage et l'évaluation de politiques

Résumé

L'entraînement et l'évaluation de politiques robotiques dans le monde réel sont coûteux et difficiles à passer à l'échelle. Nous présentons SimFoundry, un système modulaire et automatisé pour la construction zéro-shot de scènes réelles vers simulées à partir d'une vidéo. SimFoundry génère des jumeaux numériques prêts pour la simulation et prend en charge l'édition d'objets, de scènes et de tâches, permettant la génération automatisée de divers cousins numériques : des variations préservant les affordances des scènes du monde réel reconstruites. Les politiques entraînées sur les données de SimFoundry sont transférées sans apprentissage supplémentaire à des tâches réelles complexes impliquant une manipulation en plusieurs étapes, une interaction avec des objets articulés et une interaction bimanuelle, et ses cousins numériques (variations de la scène, des objets et des tâches d'origine) facilitent la généralisation à de nouvelles conditions réelles. Sur 7 tâches de manipulation et 5 architectures de politiques, les évaluations de simulation SimFoundry prédisent fortement les performances réelles, avec une corrélation de Pearson moyenne de 0,911 et une violation de classement maximale moyenne de 0,018. Lors de l'évaluation zéro-shot des politiques entraînées par simulation dans le monde réel, les politiques entraînées avec des cousins d'objets, de scènes et de tâches en simulation montrent des améliorations moyennes du taux de réussite des tâches de 17 %, 21 % et 40 %, respectivement. Plus de détails sur https://research.nvidia.com/labs/gear/simfoundry/ .

English

Training and evaluating robot policies in the real world is costly and difficult to scale. We introduce SimFoundry, a modular and automated system for zero-shot real-to-sim scene construction from a video. SimFoundry generates sim-ready digital twins and supports object, scene, and task editing, enabling the automated generation of diverse digital cousins: affordance-preserving variations of reconstructed real-world scenes. Policies trained on SimFoundry data transfer zero-shot to challenging real tasks involving multi-step manipulation, articulated object interaction, and bimanual interaction, and its digital cousins (variations of the original scene, objects, and tasks) facilitate generalization to new real-world conditions. Across 7 manipulation tasks and 5 policy architectures, SimFoundry simulation evaluations strongly predict real-world performance, with mean Pearson correlation 0.911 and mean maximum ranking violation 0.018. When evaluating sim-trained policies zero-shot in the real world, policies trained with object, scene, and task cousins in simulation show average task success rate improvements of 17%, 21%, and 40%, respectively. Additional details at https://research.nvidia.com/labs/gear/simfoundry/ .