Splatting van Fysieke Scènes: End-to-End Real-to-Sim van Onvolmaakte Robotdata

Splatting Physical Scenes: End-to-End Real-to-Sim from Imperfect Robot Data

June 4, 2025

Auteurs: Ben Moran, Mauro Comi, Steven Bohez, Tom Erez, Zhibin Li, Leonard Hasenclever

cs.AI

Samenvatting

Het creëren van nauwkeurige, fysieke simulaties direct vanuit de bewegingen van echte robots is van grote waarde voor veilig, schaalbaar en betaalbaar robotleren, maar blijft buitengewoon uitdagend. Echte robotgegevens lijden onder occlusies, ruis in cameraposities en dynamische scène-elementen, wat de creatie van geometrisch nauwkeurige en fotorealistische digitale tweelingen van onbekende objecten belemmert. Wij introduceren een nieuw real-to-sim raamwerk dat al deze uitdagingen tegelijk aanpakt. Onze belangrijkste inzicht is een hybride scène-representatie die het fotorealistische renderen van 3D Gaussian Splatting combineert met expliciete objectmeshes die geschikt zijn voor fysica-simulatie binnen een enkele representatie. We stellen een end-to-end optimalisatiepijplijn voor die differentieerbaar renderen en differentieerbare fysica binnen MuJoCo benut om alle scènecomponenten gezamenlijk te verfijnen - van objectgeometrie en -uiterlijk tot robotposities en fysische parameters - direct vanuit ruwe en onnauwkeurige robotbanen. Deze geïntegreerde optimalisatie stelt ons in staat om tegelijkertijd hoogwaardige objectmesh-reconstructie te bereiken, fotorealistische nieuwe aanzichten te genereren en annotatievrije robotposekalibratie uit te voeren. We demonstreren de effectiviteit van onze aanpak zowel in simulatie als op uitdagende real-world sequenties met behulp van een ALOHA 2 bi-manuele manipulator, waardoor praktischer en robuustere real-to-simulation pijplijnen mogelijk worden.

English

Creating accurate, physical simulations directly from real-world robot motion holds great value for safe, scalable, and affordable robot learning, yet remains exceptionally challenging. Real robot data suffers from occlusions, noisy camera poses, dynamic scene elements, which hinder the creation of geometrically accurate and photorealistic digital twins of unseen objects. We introduce a novel real-to-sim framework tackling all these challenges at once. Our key insight is a hybrid scene representation merging the photorealistic rendering of 3D Gaussian Splatting with explicit object meshes suitable for physics simulation within a single representation. We propose an end-to-end optimization pipeline that leverages differentiable rendering and differentiable physics within MuJoCo to jointly refine all scene components - from object geometry and appearance to robot poses and physical parameters - directly from raw and imprecise robot trajectories. This unified optimization allows us to simultaneously achieve high-fidelity object mesh reconstruction, generate photorealistic novel views, and perform annotation-free robot pose calibration. We demonstrate the effectiveness of our approach both in simulation and on challenging real-world sequences using an ALOHA 2 bi-manual manipulator, enabling more practical and robust real-to-simulation pipelines.