Hochgenaue simulierte Datengenerierung für realitätsnahes Zero-Shot-Roboter-Manipulationslernen mit Gaussian Splatting

papers.abstract

Die Skalierbarkeit des robotischen Lernens wird grundlegend durch die erheblichen Kosten und den Arbeitsaufwand der Datenerfassung in der realen Welt begrenzt. Während simulierte Daten eine skalierbare Alternative bieten, scheitern sie oft daran, auf die reale Welt zu übertragen, da erhebliche Lücken in der visuellen Erscheinung, den physikalischen Eigenschaften und den Objektinteraktionen bestehen. Um dies zu adressieren, schlagen wir RoboSimGS vor, ein neuartiges Real2Sim2Real-Framework, das Multi-View-Bilder aus der realen Welt in skalierbare, hochwertige und physikalisch interaktive Simulationsumgebungen für die robotische Manipulation umwandelt. Unser Ansatz rekonstruiert Szenen mithilfe einer hybriden Darstellung: 3D Gaussian Splatting (3DGS) erfasst das fotorealistische Erscheinungsbild der Umgebung, während Mesh-Primitive für interaktive Objekte eine genaue Physiksimulation gewährleisten. Entscheidend ist, dass wir erstmals ein Multi-modales Großes Sprachmodell (MLLM) verwenden, um die Erstellung physikalisch plausibler, artikulierter Objekte zu automatisieren. Das MLLM analysiert visuelle Daten, um nicht nur physikalische Eigenschaften (z. B. Dichte, Steifigkeit), sondern auch komplexe kinematische Strukturen (z. B. Scharniere, Schienen) von Objekten abzuleiten. Wir zeigen, dass Strategien, die ausschließlich auf Daten trainiert wurden, die von RoboSimGS generiert wurden, erfolgreiche Zero-Shot-Sim-to-Real-Übertragungen über eine Vielzahl von realen Manipulationsaufgaben erreichen. Darüber hinaus verbessern Daten von RoboSimGS die Leistung und Generalisierungsfähigkeit von State-of-the-Art-Methoden signifikant. Unsere Ergebnisse bestätigen RoboSimGS als eine leistungsstarke und skalierbare Lösung zur Überbrückung der Sim-to-Real-Lücke.

English

The scalability of robotic learning is fundamentally bottlenecked by the significant cost and labor of real-world data collection. While simulated data offers a scalable alternative, it often fails to generalize to the real world due to significant gaps in visual appearance, physical properties, and object interactions. To address this, we propose RoboSimGS, a novel Real2Sim2Real framework that converts multi-view real-world images into scalable, high-fidelity, and physically interactive simulation environments for robotic manipulation. Our approach reconstructs scenes using a hybrid representation: 3D Gaussian Splatting (3DGS) captures the photorealistic appearance of the environment, while mesh primitives for interactive objects ensure accurate physics simulation. Crucially, we pioneer the use of a Multi-modal Large Language Model (MLLM) to automate the creation of physically plausible, articulated assets. The MLLM analyzes visual data to infer not only physical properties (e.g., density, stiffness) but also complex kinematic structures (e.g., hinges, sliding rails) of objects. We demonstrate that policies trained entirely on data generated by RoboSimGS achieve successful zero-shot sim-to-real transfer across a diverse set of real-world manipulation tasks. Furthermore, data from RoboSimGS significantly enhances the performance and generalization capabilities of SOTA methods. Our results validate RoboSimGS as a powerful and scalable solution for bridging the sim-to-real gap.

Hochgenaue simulierte Datengenerierung für realitätsnahes Zero-Shot-Roboter-Manipulationslernen mit Gaussian Splatting

High-Fidelity Simulated Data Generation for Real-World Zero-Shot Robotic Manipulation Learning with Gaussian Splatting

papers.abstract

Support