Renderização de Cenas Físicas: Do Real ao Simulado de Ponta a Ponta a partir de Dados Imperfeitos de Robôs

Splatting Physical Scenes: End-to-End Real-to-Sim from Imperfect Robot Data

June 4, 2025

Autores: Ben Moran, Mauro Comi, Steven Bohez, Tom Erez, Zhibin Li, Leonard Hasenclever

cs.AI

Resumo

A criação de simulações físicas precisas diretamente a partir do movimento de robôs no mundo real tem grande valor para o aprendizado de robôs seguro, escalável e acessível, mas continua sendo excepcionalmente desafiador. Os dados de robôs reais sofrem com oclusões, poses de câmera ruidosas e elementos dinâmicos da cena, o que dificulta a criação de gêmeos digitais geometricamente precisos e fotorrealistas de objetos não vistos. Apresentamos uma nova estrutura real-to-sim que aborda todos esses desafios simultaneamente. Nossa principal percepção é uma representação híbrida da cena que combina a renderização fotorrealista do 3D Gaussian Splatting com malhas de objetos explícitas adequadas para simulação física em uma única representação. Propomos um pipeline de otimização de ponta a ponta que aproveita a renderização diferenciável e a física diferenciável no MuJoCo para refinar conjuntamente todos os componentes da cena - desde a geometria e aparência dos objetos até as poses do robô e parâmetros físicos - diretamente a partir de trajetórias brutas e imprecisas do robô. Essa otimização unificada nos permite alcançar simultaneamente a reconstrução de malhas de objetos de alta fidelidade, gerar novas visões fotorrealistas e realizar a calibração de poses do robô sem anotações. Demonstramos a eficácia da nossa abordagem tanto em simulação quanto em sequências desafiadoras do mundo real usando um manipulador bimanual ALOHA 2, permitindo pipelines real-to-simulation mais práticos e robustos.

English

Creating accurate, physical simulations directly from real-world robot motion holds great value for safe, scalable, and affordable robot learning, yet remains exceptionally challenging. Real robot data suffers from occlusions, noisy camera poses, dynamic scene elements, which hinder the creation of geometrically accurate and photorealistic digital twins of unseen objects. We introduce a novel real-to-sim framework tackling all these challenges at once. Our key insight is a hybrid scene representation merging the photorealistic rendering of 3D Gaussian Splatting with explicit object meshes suitable for physics simulation within a single representation. We propose an end-to-end optimization pipeline that leverages differentiable rendering and differentiable physics within MuJoCo to jointly refine all scene components - from object geometry and appearance to robot poses and physical parameters - directly from raw and imprecise robot trajectories. This unified optimization allows us to simultaneously achieve high-fidelity object mesh reconstruction, generate photorealistic novel views, and perform annotation-free robot pose calibration. We demonstrate the effectiveness of our approach both in simulation and on challenging real-world sequences using an ALOHA 2 bi-manual manipulator, enabling more practical and robust real-to-simulation pipelines.