Real-is-Sim: Преодоление разрыва между симуляцией и реальностью с помощью динамического цифрового двойника для оценки стратегий роботов в реальных условиях

Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin for Real-World Robot Policy Evaluation

April 4, 2025

Авторы: Jad Abou-Chakra, Lingfeng Sun, Krishan Rana, Brandon May, Karl Schmeckpeper, Maria Vittoria Minniti, Laura Herlant

cs.AI

Аннотация

Последние достижения в области клонирования поведения позволили роботам выполнять сложные манипуляционные задачи. Однако точная оценка результатов обучения остается сложной задачей, особенно для реальных приложений, поскольку потери при клонировании поведения часто слабо коррелируют с фактическим успехом выполнения задачи. В результате исследователи прибегают к метрикам успешности, полученным из дорогостоящих и трудоемких реальных оценок, что делает выявление оптимальных политик и обнаружение переобучения или недообучения непрактичным. Для решения этих проблем мы предлагаем real-is-sim, новую структуру клонирования поведения, которая включает динамический цифровой двойник (основанный на Embodied Gaussians) на всех этапах разработки политики: сбор данных, обучение и внедрение. Постоянно синхронизируя симулированный мир с физическим, демонстрации могут собираться в реальном мире с извлечением состояний из симулятора. Симулятор позволяет гибко представлять состояния, визуализируя входные изображения с любого ракурса или извлекая низкоуровневую информацию о состоянии объектов, представленных в сцене. Во время обучения политики могут быть непосредственно оценены в симуляторе в автономном и высоко параллелизуемом режиме. Наконец, при внедрении политики выполняются в симуляторе, где реальный робот напрямую отслеживает суставы симулированного робота, эффективно разделяя выполнение политики от реального оборудования и смягчая традиционные проблемы переноса между доменами. Мы проверяем real-is-sim на задаче манипуляции PushT, демонстрируя сильную корреляцию между показателями успешности, полученными в симуляторе и реальных оценках. Видео нашей системы можно найти по адресу https://realissim.rai-inst.com.

English

Recent advancements in behavior cloning have enabled robots to perform complex manipulation tasks. However, accurately assessing training performance remains challenging, particularly for real-world applications, as behavior cloning losses often correlate poorly with actual task success. Consequently, researchers resort to success rate metrics derived from costly and time-consuming real-world evaluations, making the identification of optimal policies and detection of overfitting or underfitting impractical. To address these issues, we propose real-is-sim, a novel behavior cloning framework that incorporates a dynamic digital twin (based on Embodied Gaussians) throughout the entire policy development pipeline: data collection, training, and deployment. By continuously aligning the simulated world with the physical world, demonstrations can be collected in the real world with states extracted from the simulator. The simulator enables flexible state representations by rendering image inputs from any viewpoint or extracting low-level state information from objects embodied within the scene. During training, policies can be directly evaluated within the simulator in an offline and highly parallelizable manner. Finally, during deployment, policies are run within the simulator where the real robot directly tracks the simulated robot's joints, effectively decoupling policy execution from real hardware and mitigating traditional domain-transfer challenges. We validate real-is-sim on the PushT manipulation task, demonstrating strong correlation between success rates obtained in the simulator and real-world evaluations. Videos of our system can be found at https://realissim.rai-inst.com.