Генерация высокоточных симулированных данных для обучения роботизированному манипулированию в реальных условиях с нулевым опытом с использованием гауссовского сплайнинга

Аннотация

Масштабируемость обучения роботов фундаментально ограничена значительными затратами и трудоемкостью сбора данных в реальном мире. Хотя симулированные данные предлагают масштабируемую альтернативу, они часто не обобщаются на реальный мир из-за существенных различий в визуальном представлении, физических свойствах и взаимодействиях объектов. Для решения этой проблемы мы предлагаем RoboSimGS, новый фреймворк Real2Sim2Real, который преобразует многовидовые изображения реального мира в масштабируемые, высокоточные и физически интерактивные симуляционные среды для манипуляций роботов. Наш подход воссоздает сцены с использованием гибридного представления: 3D Gaussian Splatting (3DGS) захватывает фотореалистичный вид окружения, в то время как примитивы мешей для интерактивных объектов обеспечивают точное физическое моделирование. Ключевым моментом является использование Multi-modal Large Language Model (MLLM) для автоматизации создания физически правдоподобных, сочлененных объектов. MLLM анализирует визуальные данные, чтобы вывести не только физические свойства (например, плотность, жесткость), но и сложные кинематические структуры (например, шарниры, направляющие) объектов. Мы демонстрируем, что политики, обученные исключительно на данных, сгенерированных RoboSimGS, успешно переносятся из симуляции в реальный мир (zero-shot sim-to-real transfer) в разнообразных задачах манипуляции. Более того, данные из RoboSimGS значительно улучшают производительность и способность к обобщению современных методов (SOTA). Наши результаты подтверждают, что RoboSimGS является мощным и масштабируемым решением для преодоления разрыва между симуляцией и реальностью.

English

The scalability of robotic learning is fundamentally bottlenecked by the significant cost and labor of real-world data collection. While simulated data offers a scalable alternative, it often fails to generalize to the real world due to significant gaps in visual appearance, physical properties, and object interactions. To address this, we propose RoboSimGS, a novel Real2Sim2Real framework that converts multi-view real-world images into scalable, high-fidelity, and physically interactive simulation environments for robotic manipulation. Our approach reconstructs scenes using a hybrid representation: 3D Gaussian Splatting (3DGS) captures the photorealistic appearance of the environment, while mesh primitives for interactive objects ensure accurate physics simulation. Crucially, we pioneer the use of a Multi-modal Large Language Model (MLLM) to automate the creation of physically plausible, articulated assets. The MLLM analyzes visual data to infer not only physical properties (e.g., density, stiffness) but also complex kinematic structures (e.g., hinges, sliding rails) of objects. We demonstrate that policies trained entirely on data generated by RoboSimGS achieve successful zero-shot sim-to-real transfer across a diverse set of real-world manipulation tasks. Furthermore, data from RoboSimGS significantly enhances the performance and generalization capabilities of SOTA methods. Our results validate RoboSimGS as a powerful and scalable solution for bridging the sim-to-real gap.

High-Fidelity Simulated Data Generation for Real-World Zero-Shot Robotic Manipulation Learning with Gaussian Splatting

Аннотация

Support