Real-is-Sim: Überbrückung der Sim-to-Real-Lücke mit einem dynamischen digitalen Zwilling zur Bewertung von Roboterstrategien in der realen Welt

Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin for Real-World Robot Policy Evaluation

April 4, 2025

Autoren: Jad Abou-Chakra, Lingfeng Sun, Krishan Rana, Brandon May, Karl Schmeckpeper, Maria Vittoria Minniti, Laura Herlant

cs.AI

Zusammenfassung

Jüngste Fortschritte im Bereich des Behavior Cloning haben es Robotern ermöglicht, komplexe Manipulationsaufgaben durchzuführen. Die genaue Bewertung des Trainingserfolgs bleibt jedoch eine Herausforderung, insbesondere für reale Anwendungen, da die Verluste beim Behavior Cloning oft nur schlecht mit dem tatsächlichen Aufgaben-Erfolg korrelieren. Folglich greifen Forscher auf Erfolgsraten-Metriken zurück, die aus kostspieligen und zeitaufwändigen realen Bewertungen abgeleitet werden, was die Identifizierung optimaler Strategien und die Erkennung von Über- oder Unteranpassung unpraktikabel macht. Um diese Probleme zu lösen, schlagen wir real-is-sim vor, ein neuartiges Behavior-Cloning-Framework, das einen dynamischen digitalen Zwilling (basierend auf Embodied Gaussians) in den gesamten Entwicklungsprozess der Strategie integriert: Datenerfassung, Training und Einsatz. Durch die kontinuierliche Abstimmung der simulierten Welt mit der physischen Welt können Demonstrationen in der realen Welt gesammelt werden, während die Zustände aus dem Simulator extrahiert werden. Der Simulator ermöglicht flexible Zustandsdarstellungen, indem er Bild-Eingaben aus beliebigen Blickwinkeln rendert oder Low-Level-Zustandsinformationen von Objekten innerhalb der Szene extrahiert. Während des Trainings können Strategien direkt im Simulator auf eine offline und hochgradig parallelisierbare Weise bewertet werden. Schließlich werden die Strategien während des Einsatzes im Simulator ausgeführt, wobei der reale Roboter die Gelenke des simulierten Roboters direkt verfolgt, wodurch die Strategieausführung effektiv von der realen Hardware entkoppelt und traditionelle Herausforderungen des Domänentransfers gemildert werden. Wir validieren real-is-sim anhand der PushT-Manipulationsaufgabe und zeigen eine starke Korrelation zwischen den im Simulator und in realen Bewertungen erzielten Erfolgsraten. Videos unseres Systems finden Sie unter https://realissim.rai-inst.com.

English

Recent advancements in behavior cloning have enabled robots to perform complex manipulation tasks. However, accurately assessing training performance remains challenging, particularly for real-world applications, as behavior cloning losses often correlate poorly with actual task success. Consequently, researchers resort to success rate metrics derived from costly and time-consuming real-world evaluations, making the identification of optimal policies and detection of overfitting or underfitting impractical. To address these issues, we propose real-is-sim, a novel behavior cloning framework that incorporates a dynamic digital twin (based on Embodied Gaussians) throughout the entire policy development pipeline: data collection, training, and deployment. By continuously aligning the simulated world with the physical world, demonstrations can be collected in the real world with states extracted from the simulator. The simulator enables flexible state representations by rendering image inputs from any viewpoint or extracting low-level state information from objects embodied within the scene. During training, policies can be directly evaluated within the simulator in an offline and highly parallelizable manner. Finally, during deployment, policies are run within the simulator where the real robot directly tracks the simulated robot's joints, effectively decoupling policy execution from real hardware and mitigating traditional domain-transfer challenges. We validate real-is-sim on the PushT manipulation task, demonstrating strong correlation between success rates obtained in the simulator and real-world evaluations. Videos of our system can be found at https://realissim.rai-inst.com.