Generación de Datos Simulados de Alta Fidelidad para el Aprendizaje de Manipulación Robótica Zero-Shot en el Mundo Real con Proyección Gaussiana

Resumen

La escalabilidad del aprendizaje robótico se ve fundamentalmente limitada por el costo y el esfuerzo significativos asociados a la recopilación de datos en el mundo real. Si bien los datos simulados ofrecen una alternativa escalable, a menudo no logran generalizarse al mundo real debido a brechas significativas en la apariencia visual, las propiedades físicas y las interacciones con los objetos. Para abordar este problema, proponemos RoboSimGS, un novedoso marco Real2Sim2Real que convierte imágenes del mundo real capturadas desde múltiples vistas en entornos de simulación escalables, de alta fidelidad y físicamente interactivos para la manipulación robótica. Nuestro enfoque reconstruye escenas utilizando una representación híbrida: el método de 3D Gaussian Splatting (3DGS) captura la apariencia fotorrealista del entorno, mientras que los primitivos de malla para objetos interactivos garantizan una simulación física precisa. De manera crucial, somos pioneros en el uso de un Modelo de Lenguaje de Gran Escala Multimodal (MLLM, por sus siglas en inglés) para automatizar la creación de activos articulados y físicamente plausibles. El MLLM analiza datos visuales para inferir no solo propiedades físicas (por ejemplo, densidad, rigidez) sino también estructuras cinemáticas complejas (por ejemplo, bisagras, rieles deslizantes) de los objetos. Demostramos que las políticas entrenadas completamente con datos generados por RoboSimGS logran una transferencia exitosa de simulación a realidad (sim-to-real) en un conjunto diverso de tareas de manipulación en el mundo real. Además, los datos de RoboSimGS mejoran significativamente el rendimiento y las capacidades de generalización de los métodos más avanzados (SOTA, por sus siglas en inglés). Nuestros resultados validan a RoboSimGS como una solución poderosa y escalable para cerrar la brecha entre simulación y realidad.

English

The scalability of robotic learning is fundamentally bottlenecked by the significant cost and labor of real-world data collection. While simulated data offers a scalable alternative, it often fails to generalize to the real world due to significant gaps in visual appearance, physical properties, and object interactions. To address this, we propose RoboSimGS, a novel Real2Sim2Real framework that converts multi-view real-world images into scalable, high-fidelity, and physically interactive simulation environments for robotic manipulation. Our approach reconstructs scenes using a hybrid representation: 3D Gaussian Splatting (3DGS) captures the photorealistic appearance of the environment, while mesh primitives for interactive objects ensure accurate physics simulation. Crucially, we pioneer the use of a Multi-modal Large Language Model (MLLM) to automate the creation of physically plausible, articulated assets. The MLLM analyzes visual data to infer not only physical properties (e.g., density, stiffness) but also complex kinematic structures (e.g., hinges, sliding rails) of objects. We demonstrate that policies trained entirely on data generated by RoboSimGS achieve successful zero-shot sim-to-real transfer across a diverse set of real-world manipulation tasks. Furthermore, data from RoboSimGS significantly enhances the performance and generalization capabilities of SOTA methods. Our results validate RoboSimGS as a powerful and scalable solution for bridging the sim-to-real gap.

Generación de Datos Simulados de Alta Fidelidad para el Aprendizaje de Manipulación Robótica Zero-Shot en el Mundo Real con Proyección Gaussiana

High-Fidelity Simulated Data Generation for Real-World Zero-Shot Robotic Manipulation Learning with Gaussian Splatting

Resumen

Support