Hoogwaardige gesimuleerde datageneratie voor real-world zero-shot robotmanipulatie leren met Gaussian Splatting

Samenvatting

De schaalbaarheid van robotisch leren wordt fundamenteel beperkt door de aanzienlijke kosten en arbeid die gepaard gaan met het verzamelen van gegevens in de echte wereld. Hoewel gesimuleerde gegevens een schaalbare alternatieve bieden, slagen ze er vaak niet in om te generaliseren naar de echte wereld vanwege aanzienlijke verschillen in visuele verschijning, fysieke eigenschappen en objectinteracties. Om dit aan te pakken, stellen we RoboSimGS voor, een nieuw Real2Sim2Real-framework dat multi-view beelden uit de echte wereld omzet in schaalbare, hoogwaardige en fysiek interactieve simulatieomgevingen voor robotmanipulatie. Onze aanpak reconstrueert scènes met behulp van een hybride representatie: 3D Gaussian Splatting (3DGS) vangt de fotorealistische verschijning van de omgeving, terwijl mesh-primitieven voor interactieve objecten een nauwkeurige fysicasimulatie garanderen. Cruciaal is dat we pionieren met het gebruik van een Multi-modale Large Language Model (MLLM) om de creatie van fysiek plausibele, gearticuleerde assets te automatiseren. De MLLM analyseert visuele gegevens om niet alleen fysieke eigenschappen (bijv. dichtheid, stijfheid) maar ook complexe kinematische structuren (bijv. scharnieren, glijrails) van objecten af te leiden. We demonstreren dat beleidsmodellen die volledig zijn getraind op gegevens gegenereerd door RoboSimGS succesvolle zero-shot sim-to-real transfer bereiken over een diverse set van real-world manipulatietaken. Bovendien verbeteren gegevens van RoboSimGS de prestaties en generalisatiecapaciteiten van state-of-the-art methoden aanzienlijk. Onze resultaten valideren RoboSimGS als een krachtige en schaalbare oplossing voor het overbruggen van de sim-to-real kloof.

English

The scalability of robotic learning is fundamentally bottlenecked by the significant cost and labor of real-world data collection. While simulated data offers a scalable alternative, it often fails to generalize to the real world due to significant gaps in visual appearance, physical properties, and object interactions. To address this, we propose RoboSimGS, a novel Real2Sim2Real framework that converts multi-view real-world images into scalable, high-fidelity, and physically interactive simulation environments for robotic manipulation. Our approach reconstructs scenes using a hybrid representation: 3D Gaussian Splatting (3DGS) captures the photorealistic appearance of the environment, while mesh primitives for interactive objects ensure accurate physics simulation. Crucially, we pioneer the use of a Multi-modal Large Language Model (MLLM) to automate the creation of physically plausible, articulated assets. The MLLM analyzes visual data to infer not only physical properties (e.g., density, stiffness) but also complex kinematic structures (e.g., hinges, sliding rails) of objects. We demonstrate that policies trained entirely on data generated by RoboSimGS achieve successful zero-shot sim-to-real transfer across a diverse set of real-world manipulation tasks. Furthermore, data from RoboSimGS significantly enhances the performance and generalization capabilities of SOTA methods. Our results validate RoboSimGS as a powerful and scalable solution for bridging the sim-to-real gap.

Hoogwaardige gesimuleerde datageneratie voor real-world zero-shot robotmanipulatie leren met Gaussian Splatting

High-Fidelity Simulated Data Generation for Real-World Zero-Shot Robotic Manipulation Learning with Gaussian Splatting

Samenvatting

Support