Real-is-Sim: Cerrando la Brecha entre Simulación y Realidad con un Gemelo Digital Dinámico para la Evaluación de Políticas de Robots en el Mundo Real

Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin for Real-World Robot Policy Evaluation

April 4, 2025

Autores: Jad Abou-Chakra, Lingfeng Sun, Krishan Rana, Brandon May, Karl Schmeckpeper, Maria Vittoria Minniti, Laura Herlant

cs.AI

Resumen

Los recientes avances en la clonación de comportamiento han permitido que los robots realicen tareas de manipulación complejas. Sin embargo, evaluar con precisión el rendimiento del entrenamiento sigue siendo un desafío, especialmente para aplicaciones en el mundo real, ya que las pérdidas en la clonación de comportamiento a menudo se correlacionan pobremente con el éxito real de la tarea. En consecuencia, los investigadores recurren a métricas de tasa de éxito derivadas de evaluaciones en el mundo real que son costosas y consumen mucho tiempo, lo que hace que la identificación de políticas óptimas y la detección de sobreajuste o subajuste sean poco prácticas. Para abordar estos problemas, proponemos real-is-sim, un novedoso marco de clonación de comportamiento que incorpora un gemelo digital dinámico (basado en Gaussianas Embebidas) a lo largo de toda la cadena de desarrollo de políticas: recopilación de datos, entrenamiento y despliegue. Al alinear continuamente el mundo simulado con el mundo físico, las demostraciones pueden recopilarse en el mundo real con estados extraídos del simulador. El simulador permite representaciones de estado flexibles al renderizar entradas de imagen desde cualquier punto de vista o extraer información de estado de bajo nivel de los objetos embebidos en la escena. Durante el entrenamiento, las políticas pueden evaluarse directamente dentro del simulador de manera offline y altamente paralelizable. Finalmente, durante el despliegue, las políticas se ejecutan dentro del simulador, donde el robot real sigue directamente las articulaciones del robot simulado, desacoplando efectivamente la ejecución de la política del hardware real y mitigando los desafíos tradicionales de transferencia de dominio. Validamos real-is-sim en la tarea de manipulación PushT, demostrando una fuerte correlación entre las tasas de éxito obtenidas en el simulador y las evaluaciones en el mundo real. Los videos de nuestro sistema se pueden encontrar en https://realissim.rai-inst.com.

English

Recent advancements in behavior cloning have enabled robots to perform complex manipulation tasks. However, accurately assessing training performance remains challenging, particularly for real-world applications, as behavior cloning losses often correlate poorly with actual task success. Consequently, researchers resort to success rate metrics derived from costly and time-consuming real-world evaluations, making the identification of optimal policies and detection of overfitting or underfitting impractical. To address these issues, we propose real-is-sim, a novel behavior cloning framework that incorporates a dynamic digital twin (based on Embodied Gaussians) throughout the entire policy development pipeline: data collection, training, and deployment. By continuously aligning the simulated world with the physical world, demonstrations can be collected in the real world with states extracted from the simulator. The simulator enables flexible state representations by rendering image inputs from any viewpoint or extracting low-level state information from objects embodied within the scene. During training, policies can be directly evaluated within the simulator in an offline and highly parallelizable manner. Finally, during deployment, policies are run within the simulator where the real robot directly tracks the simulated robot's joints, effectively decoupling policy execution from real hardware and mitigating traditional domain-transfer challenges. We validate real-is-sim on the PushT manipulation task, demonstrating strong correlation between success rates obtained in the simulator and real-world evaluations. Videos of our system can be found at https://realissim.rai-inst.com.