Real-is-Sim: Het overbruggen van de Sim-naar-Real-kloof met een dynamische digitale tweeling voor evaluatie van robotbeleid in de echte wereld

Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin for Real-World Robot Policy Evaluation

April 4, 2025

Auteurs: Jad Abou-Chakra, Lingfeng Sun, Krishan Rana, Brandon May, Karl Schmeckpeper, Maria Vittoria Minniti, Laura Herlant

cs.AI

Samenvatting

Recente vooruitgang in gedragsklonen heeft robots in staat gesteld om complexe manipulatietaken uit te voeren. Het nauwkeurig beoordelen van de trainingsprestaties blijft echter een uitdaging, vooral voor toepassingen in de echte wereld, aangezien verliezen bij gedragsklonen vaak slecht correleren met het daadwerkelijke taken succes. Als gevolg daarvan nemen onderzoekers hun toevlucht tot succespercentages die zijn afgeleid van kostbare en tijdrovende evaluaties in de echte wereld, wat het identificeren van optimale beleidsregels en het detecteren van overfitting of underfitting onpraktisch maakt. Om deze problemen aan te pakken, stellen we real-is-sim voor, een nieuw gedragsklonen-framework dat een dynamische digitale tweeling (gebaseerd op Embodied Gaussians) integreert in de gehele beleidsontwikkelingspijplijn: gegevensverzameling, training en implementatie. Door de gesimuleerde wereld continu af te stemmen op de fysieke wereld, kunnen demonstraties in de echte wereld worden verzameld met staten die uit de simulator worden geëxtraheerd. De simulator maakt flexibele staatrepresentaties mogelijk door beeldinvoer vanuit elk gezichtspunt te renderen of door laagniveau staatinformatie van objecten in de scène te extraheren. Tijdens de training kunnen beleidsregels direct in de simulator worden geëvalueerd op een offline en zeer paralleliseerbare manier. Ten slotte, tijdens de implementatie, worden beleidsregels uitgevoerd binnen de simulator waar de echte robot direct de gewrichten van de gesimuleerde robot volgt, waardoor de uitvoering van het beleid effectief wordt ontkoppeld van echte hardware en traditionele domeinoverdrachtuitdagingen worden verminderd. We valideren real-is-sim op de PushT-manipulatietaak, waarbij een sterke correlatie wordt aangetoond tussen succespercentages die in de simulator en in echte wereld evaluaties worden behaald. Video's van ons systeem zijn te vinden op https://realissim.rai-inst.com.

English

Recent advancements in behavior cloning have enabled robots to perform complex manipulation tasks. However, accurately assessing training performance remains challenging, particularly for real-world applications, as behavior cloning losses often correlate poorly with actual task success. Consequently, researchers resort to success rate metrics derived from costly and time-consuming real-world evaluations, making the identification of optimal policies and detection of overfitting or underfitting impractical. To address these issues, we propose real-is-sim, a novel behavior cloning framework that incorporates a dynamic digital twin (based on Embodied Gaussians) throughout the entire policy development pipeline: data collection, training, and deployment. By continuously aligning the simulated world with the physical world, demonstrations can be collected in the real world with states extracted from the simulator. The simulator enables flexible state representations by rendering image inputs from any viewpoint or extracting low-level state information from objects embodied within the scene. During training, policies can be directly evaluated within the simulator in an offline and highly parallelizable manner. Finally, during deployment, policies are run within the simulator where the real robot directly tracks the simulated robot's joints, effectively decoupling policy execution from real hardware and mitigating traditional domain-transfer challenges. We validate real-is-sim on the PushT manipulation task, demonstrating strong correlation between success rates obtained in the simulator and real-world evaluations. Videos of our system can be found at https://realissim.rai-inst.com.