Splatting di Scene Fisiche: Da Reale a Simulazione End-to-End a Partire da Dati Robotici Imperfetti

Splatting Physical Scenes: End-to-End Real-to-Sim from Imperfect Robot Data

June 4, 2025

Autori: Ben Moran, Mauro Comi, Steven Bohez, Tom Erez, Zhibin Li, Leonard Hasenclever

cs.AI

Abstract

La creazione di simulazioni fisiche accurate direttamente dal movimento di robot nel mondo reale riveste un grande valore per l'apprendimento robotico sicuro, scalabile ed economico, ma rimane estremamente impegnativa. I dati provenienti da robot reali sono affetti da occlusioni, pose della camera rumorose ed elementi dinamici della scena, che ostacolano la creazione di gemelli digitali geometricamente accurati e fotorealistici di oggetti non visti. Introduciamo un nuovo framework real-to-sim che affronta tutte queste sfide contemporaneamente. La nostra intuizione chiave è una rappresentazione ibrida della scena che unisce il rendering fotorealistico del 3D Gaussian Splatting con mesh esplicite di oggetti adatte per la simulazione fisica all'interno di una singola rappresentazione. Proponiamo una pipeline di ottimizzazione end-to-end che sfrutta il rendering differenziabile e la fisica differenziabile all'interno di MuJoCo per affinare congiuntamente tutti i componenti della scena - dalla geometria e dall'aspetto degli oggetti alle pose del robot e ai parametri fisici - direttamente da traiettorie robot grezze e imprecise. Questa ottimizzazione unificata ci permette di ottenere simultaneamente una ricostruzione ad alta fedeltà della mesh degli oggetti, generare nuove viste fotorealistiche e eseguire una calibrazione delle pose del robot senza annotazioni. Dimostriamo l'efficacia del nostro approccio sia in simulazione che su sequenze reali complesse utilizzando un manipolatore bi-manuale ALOHA 2, abilitando pipeline real-to-simulation più pratiche e robuste.

English

Creating accurate, physical simulations directly from real-world robot motion holds great value for safe, scalable, and affordable robot learning, yet remains exceptionally challenging. Real robot data suffers from occlusions, noisy camera poses, dynamic scene elements, which hinder the creation of geometrically accurate and photorealistic digital twins of unseen objects. We introduce a novel real-to-sim framework tackling all these challenges at once. Our key insight is a hybrid scene representation merging the photorealistic rendering of 3D Gaussian Splatting with explicit object meshes suitable for physics simulation within a single representation. We propose an end-to-end optimization pipeline that leverages differentiable rendering and differentiable physics within MuJoCo to jointly refine all scene components - from object geometry and appearance to robot poses and physical parameters - directly from raw and imprecise robot trajectories. This unified optimization allows us to simultaneously achieve high-fidelity object mesh reconstruction, generate photorealistic novel views, and perform annotation-free robot pose calibration. We demonstrate the effectiveness of our approach both in simulation and on challenging real-world sequences using an ALOHA 2 bi-manual manipulator, enabling more practical and robust real-to-simulation pipelines.