Proyección de Escenas Físicas: De lo Real a lo Simulado de Extremo a Extremo a partir de Datos Imperfectos de Robots

Splatting Physical Scenes: End-to-End Real-to-Sim from Imperfect Robot Data

June 4, 2025

Autores: Ben Moran, Mauro Comi, Steven Bohez, Tom Erez, Zhibin Li, Leonard Hasenclever

cs.AI

Resumen

La creación de simulaciones físicas precisas directamente a partir del movimiento de robots en el mundo real tiene un gran valor para el aprendizaje de robots seguro, escalable y asequible, aunque sigue siendo excepcionalmente desafiante. Los datos de robots reales sufren de oclusiones, poses de cámara ruidosas y elementos dinámicos en la escena, lo que dificulta la creación de gemelos digitales geométricamente precisos y fotorrealistas de objetos no vistos. Presentamos un novedoso marco de trabajo de real a simulación que aborda todos estos desafíos de manera simultánea. Nuestra idea clave es una representación híbrida de la escena que combina la renderización fotorrealista de 3D Gaussian Splatting con mallas de objetos explícitas adecuadas para la simulación física dentro de una única representación. Proponemos una canalización de optimización de extremo a extremo que aprovecha la renderización diferenciable y la física diferenciable dentro de MuJoCo para refinar conjuntamente todos los componentes de la escena, desde la geometría y apariencia de los objetos hasta las poses del robot y los parámetros físicos, directamente a partir de trayectorias de robot crudas e imprecisas. Esta optimización unificada nos permite lograr simultáneamente una reconstrucción de mallas de objetos de alta fidelidad, generar vistas novedosas fotorrealistas y realizar una calibración de poses de robot sin anotaciones. Demostramos la efectividad de nuestro enfoque tanto en simulación como en secuencias desafiantes del mundo real utilizando un manipulador bimanual ALOHA 2, lo que permite canalizaciones de real a simulación más prácticas y robustas.

English

Creating accurate, physical simulations directly from real-world robot motion holds great value for safe, scalable, and affordable robot learning, yet remains exceptionally challenging. Real robot data suffers from occlusions, noisy camera poses, dynamic scene elements, which hinder the creation of geometrically accurate and photorealistic digital twins of unseen objects. We introduce a novel real-to-sim framework tackling all these challenges at once. Our key insight is a hybrid scene representation merging the photorealistic rendering of 3D Gaussian Splatting with explicit object meshes suitable for physics simulation within a single representation. We propose an end-to-end optimization pipeline that leverages differentiable rendering and differentiable physics within MuJoCo to jointly refine all scene components - from object geometry and appearance to robot poses and physical parameters - directly from raw and imprecise robot trajectories. This unified optimization allows us to simultaneously achieve high-fidelity object mesh reconstruction, generate photorealistic novel views, and perform annotation-free robot pose calibration. We demonstrate the effectiveness of our approach both in simulation and on challenging real-world sequences using an ALOHA 2 bi-manual manipulator, enabling more practical and robust real-to-simulation pipelines.