Real-is-Sim : Combler l'écart entre simulation et réalité avec un jumeau numérique dynamique pour l'évaluation des politiques robotiques en monde réel

Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin for Real-World Robot Policy Evaluation

April 4, 2025

Auteurs: Jad Abou-Chakra, Lingfeng Sun, Krishan Rana, Brandon May, Karl Schmeckpeper, Maria Vittoria Minniti, Laura Herlant

cs.AI

Résumé

Les récents progrès dans le domaine du clonage comportemental ont permis aux robots d'exécuter des tâches de manipulation complexes. Cependant, l'évaluation précise des performances d'entraînement reste un défi, en particulier pour les applications en conditions réelles, car les pertes liées au clonage comportemental corrèlent souvent mal avec la réussite effective des tâches. Par conséquent, les chercheurs se tournent vers des métriques de taux de succès dérivées d'évaluations en conditions réelles coûteuses et chronophages, rendant l'identification de politiques optimales et la détection de surajustement ou de sous-ajustement peu pratiques. Pour résoudre ces problèmes, nous proposons real-is-sim, un nouveau cadre de clonage comportemental qui intègre un jumeau numérique dynamique (basé sur les Gaussiennes Embodied) tout au long du pipeline de développement de la politique : collecte de données, entraînement et déploiement. En alignant continuellement le monde simulé avec le monde physique, les démonstrations peuvent être collectées dans le monde réel avec des états extraits du simulateur. Le simulateur permet des représentations d'état flexibles en rendant des entrées d'image depuis n'importe quel point de vue ou en extrayant des informations d'état de bas niveau à partir des objets incarnés dans la scène. Pendant l'entraînement, les politiques peuvent être directement évaluées dans le simulateur de manière hors ligne et hautement parallélisable. Enfin, lors du déploiement, les politiques sont exécutées dans le simulateur où le robot réel suit directement les articulations du robot simulé, découplant ainsi efficacement l'exécution de la politique du matériel réel et atténuant les défis traditionnels de transfert de domaine. Nous validons real-is-sim sur la tâche de manipulation PushT, démontrant une forte corrélation entre les taux de succès obtenus dans le simulateur et les évaluations en conditions réelles. Les vidéos de notre système sont disponibles à l'adresse https://realissim.rai-inst.com.

English

Recent advancements in behavior cloning have enabled robots to perform complex manipulation tasks. However, accurately assessing training performance remains challenging, particularly for real-world applications, as behavior cloning losses often correlate poorly with actual task success. Consequently, researchers resort to success rate metrics derived from costly and time-consuming real-world evaluations, making the identification of optimal policies and detection of overfitting or underfitting impractical. To address these issues, we propose real-is-sim, a novel behavior cloning framework that incorporates a dynamic digital twin (based on Embodied Gaussians) throughout the entire policy development pipeline: data collection, training, and deployment. By continuously aligning the simulated world with the physical world, demonstrations can be collected in the real world with states extracted from the simulator. The simulator enables flexible state representations by rendering image inputs from any viewpoint or extracting low-level state information from objects embodied within the scene. During training, policies can be directly evaluated within the simulator in an offline and highly parallelizable manner. Finally, during deployment, policies are run within the simulator where the real robot directly tracks the simulated robot's joints, effectively decoupling policy execution from real hardware and mitigating traditional domain-transfer challenges. We validate real-is-sim on the PushT manipulation task, demonstrating strong correlation between success rates obtained in the simulator and real-world evaluations. Videos of our system can be found at https://realissim.rai-inst.com.