Real-is-Sim: Reduzindo a Lacuna entre Simulação e Realidade com um Gêmeo Digital Dinâmico para Avaliação de Políticas de Robôs no Mundo Real

Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin for Real-World Robot Policy Evaluation

April 4, 2025

Autores: Jad Abou-Chakra, Lingfeng Sun, Krishan Rana, Brandon May, Karl Schmeckpeper, Maria Vittoria Minniti, Laura Herlant

cs.AI

Resumo

Os recentes avanços na clonagem de comportamento têm permitido que robôs realizem tarefas de manipulação complexas. No entanto, avaliar com precisão o desempenho do treinamento continua sendo um desafio, especialmente para aplicações do mundo real, uma vez que as perdas na clonagem de comportamento frequentemente apresentam baixa correlação com o sucesso real da tarefa. Consequentemente, os pesquisadores recorrem a métricas de taxa de sucesso derivadas de avaliações no mundo real, que são custosas e demoradas, tornando impraticável a identificação de políticas ótimas e a detecção de sobreajuste ou subajuste. Para abordar esses problemas, propomos o real-is-sim, uma nova estrutura de clonagem de comportamento que incorpora um gêmeo digital dinâmico (baseado em Gaussianas Incorporadas) em todo o pipeline de desenvolvimento de políticas: coleta de dados, treinamento e implantação. Ao alinhar continuamente o mundo simulado com o mundo físico, as demonstrações podem ser coletadas no mundo real com estados extraídos do simulador. O simulador permite representações flexíveis de estados ao renderizar entradas de imagem de qualquer ponto de vista ou extrair informações de estado de baixo nível de objetos incorporados na cena. Durante o treinamento, as políticas podem ser avaliadas diretamente no simulador de maneira offline e altamente paralelizável. Por fim, durante a implantação, as políticas são executadas no simulador, onde o robô real rastreia diretamente as juntas do robô simulado, efetivamente desacoplando a execução da política do hardware real e mitigando os desafios tradicionais de transferência de domínio. Validamos o real-is-sim na tarefa de manipulação PushT, demonstrando uma forte correlação entre as taxas de sucesso obtidas no simulador e as avaliações no mundo real. Vídeos do nosso sistema podem ser encontrados em https://realissim.rai-inst.com.

English

Recent advancements in behavior cloning have enabled robots to perform complex manipulation tasks. However, accurately assessing training performance remains challenging, particularly for real-world applications, as behavior cloning losses often correlate poorly with actual task success. Consequently, researchers resort to success rate metrics derived from costly and time-consuming real-world evaluations, making the identification of optimal policies and detection of overfitting or underfitting impractical. To address these issues, we propose real-is-sim, a novel behavior cloning framework that incorporates a dynamic digital twin (based on Embodied Gaussians) throughout the entire policy development pipeline: data collection, training, and deployment. By continuously aligning the simulated world with the physical world, demonstrations can be collected in the real world with states extracted from the simulator. The simulator enables flexible state representations by rendering image inputs from any viewpoint or extracting low-level state information from objects embodied within the scene. During training, policies can be directly evaluated within the simulator in an offline and highly parallelizable manner. Finally, during deployment, policies are run within the simulator where the real robot directly tracks the simulated robot's joints, effectively decoupling policy execution from real hardware and mitigating traditional domain-transfer challenges. We validate real-is-sim on the PushT manipulation task, demonstrating strong correlation between success rates obtained in the simulator and real-world evaluations. Videos of our system can be found at https://realissim.rai-inst.com.