Real-is-Sim：動的デジタルツインによる現実世界ロボットポリシー評価のためのシミュレーションと現実のギャップの橋渡し

要旨

最近の行動クローニングの進歩により、ロボットが複雑な操作タスクを実行できるようになりました。しかし、特に実世界のアプリケーションにおいて、トレーニング性能を正確に評価することは依然として困難です。なぜなら、行動クローニングの損失は実際のタスク成功率と相関が低いことが多いためです。その結果、研究者たちはコストと時間がかかる実世界の評価から得られる成功率メトリクスに頼らざるを得ず、最適なポリシーの特定や過学習・未学習の検出が非現実的になっています。これらの問題に対処するため、我々はreal-is-simという新しい行動クローニングフレームワークを提案します。このフレームワークは、ポリシー開発の全プロセス（データ収集、トレーニング、デプロイメント）において、動的なデジタルツイン（Embodied Gaussiansに基づく）を組み込んでいます。シミュレーション世界と物理世界を継続的に整合させることで、実世界でデモンストレーションを収集しつつ、シミュレータから状態を抽出することが可能になります。シミュレータは、任意の視点からの画像入力をレンダリングしたり、シーン内のオブジェクトから低レベルの状態情報を抽出したりすることで、柔軟な状態表現を可能にします。トレーニング中は、ポリシーをシミュレータ内でオフラインかつ高度に並列化可能な方法で直接評価できます。最後に、デプロイメント時には、ポリシーはシミュレータ内で実行され、実ロボットがシミュレートされたロボットの関節を直接追跡します。これにより、ポリシーの実行が実ハードウェアから切り離され、従来のドメイン転移の課題を軽減します。我々はreal-is-simをPushT操作タスクで検証し、シミュレータ内で得られた成功率と実世界評価との間に強い相関があることを示しました。システムの動画はhttps://realissim.rai-inst.comでご覧いただけます。

English

Recent advancements in behavior cloning have enabled robots to perform complex manipulation tasks. However, accurately assessing training performance remains challenging, particularly for real-world applications, as behavior cloning losses often correlate poorly with actual task success. Consequently, researchers resort to success rate metrics derived from costly and time-consuming real-world evaluations, making the identification of optimal policies and detection of overfitting or underfitting impractical. To address these issues, we propose real-is-sim, a novel behavior cloning framework that incorporates a dynamic digital twin (based on Embodied Gaussians) throughout the entire policy development pipeline: data collection, training, and deployment. By continuously aligning the simulated world with the physical world, demonstrations can be collected in the real world with states extracted from the simulator. The simulator enables flexible state representations by rendering image inputs from any viewpoint or extracting low-level state information from objects embodied within the scene. During training, policies can be directly evaluated within the simulator in an offline and highly parallelizable manner. Finally, during deployment, policies are run within the simulator where the real robot directly tracks the simulated robot's joints, effectively decoupling policy execution from real hardware and mitigating traditional domain-transfer challenges. We validate real-is-sim on the PushT manipulation task, demonstrating strong correlation between success rates obtained in the simulator and real-world evaluations. Videos of our system can be found at https://realissim.rai-inst.com.

Real-is-Sim：動的デジタルツインによる現実世界ロボットポリシー評価のためのシミュレーションと現実のギャップの橋渡し

Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin for Real-World Robot Policy Evaluation

要旨

Support