Geração de Dados Simulados de Alta Fidelidade para Aprendizado de Manipulação Robótica Zero-Shot no Mundo Real com Splatting Gaussiano

High-Fidelity Simulated Data Generation for Real-World Zero-Shot Robotic Manipulation Learning with Gaussian Splatting

October 12, 2025

Autores: Haoyu Zhao, Cheng Zeng, Linghao Zhuang, Yaxi Zhao, Shengke Xue, Hao Wang, Xingyue Zhao, Zhongyu Li, Kehan Li, Siteng Huang, Mingxiu Chen, Xin Li, Deli Zhao, Hua Zou

cs.AI

Resumo

A escalabilidade do aprendizado robótico é fundamentalmente limitada pelo custo significativo e pelo trabalho intensivo envolvidos na coleta de dados do mundo real. Embora os dados simulados ofereçam uma alternativa escalável, eles frequentemente falham em generalizar para o mundo real devido a lacunas significativas na aparência visual, propriedades físicas e interações entre objetos. Para resolver isso, propomos o RoboSimGS, uma nova estrutura Real2Sim2Real que converte imagens do mundo real capturadas em múltiplas perspectivas em ambientes de simulação escaláveis, de alta fidelidade e fisicamente interativos para manipulação robótica. Nossa abordagem reconstrói cenários usando uma representação híbrida: o 3D Gaussian Splatting (3DGS) captura a aparência fotorrealista do ambiente, enquanto primitivas de malha para objetos interativos garantem uma simulação física precisa. De forma crucial, somos pioneiros no uso de um Modelo de Linguagem de Grande Porte Multimodal (MLLM) para automatizar a criação de ativos articulados e fisicamente plausíveis. O MLLM analisa dados visuais para inferir não apenas propriedades físicas (por exemplo, densidade, rigidez), mas também estruturas cinemáticas complexas (por exemplo, dobradiças, trilhos deslizantes) dos objetos. Demonstramos que políticas treinadas inteiramente com dados gerados pelo RoboSimGS alcançam transferência bem-sucedida de simulação para o mundo real (sim-to-real) em tarefas de manipulação diversas. Além disso, os dados do RoboSimGS melhoram significativamente o desempenho e a capacidade de generalização de métodos de última geração (SOTA). Nossos resultados validam o RoboSimGS como uma solução poderosa e escalável para reduzir a lacuna entre simulação e realidade.

English

The scalability of robotic learning is fundamentally bottlenecked by the significant cost and labor of real-world data collection. While simulated data offers a scalable alternative, it often fails to generalize to the real world due to significant gaps in visual appearance, physical properties, and object interactions. To address this, we propose RoboSimGS, a novel Real2Sim2Real framework that converts multi-view real-world images into scalable, high-fidelity, and physically interactive simulation environments for robotic manipulation. Our approach reconstructs scenes using a hybrid representation: 3D Gaussian Splatting (3DGS) captures the photorealistic appearance of the environment, while mesh primitives for interactive objects ensure accurate physics simulation. Crucially, we pioneer the use of a Multi-modal Large Language Model (MLLM) to automate the creation of physically plausible, articulated assets. The MLLM analyzes visual data to infer not only physical properties (e.g., density, stiffness) but also complex kinematic structures (e.g., hinges, sliding rails) of objects. We demonstrate that policies trained entirely on data generated by RoboSimGS achieve successful zero-shot sim-to-real transfer across a diverse set of real-world manipulation tasks. Furthermore, data from RoboSimGS significantly enhances the performance and generalization capabilities of SOTA methods. Our results validate RoboSimGS as a powerful and scalable solution for bridging the sim-to-real gap.