RoboVerse: Naar een Geïntegreerd Platform, Dataset en Benchmark voor Schaalbaar en Generaliseerbaar Robotleren

RoboVerse: Towards a Unified Platform, Dataset and Benchmark for Scalable and Generalizable Robot Learning

April 26, 2025

Auteurs: Haoran Geng, Feishi Wang, Songlin Wei, Yuyang Li, Bangjun Wang, Boshi An, Charlie Tianyue Cheng, Haozhe Lou, Peihao Li, Yen-Jen Wang, Yutong Liang, Dylan Goetting, Chaoyi Xu, Haozhe Chen, Yuxi Qian, Yiran Geng, Jiageng Mao, Weikang Wan, Mingtong Zhang, Jiangran Lyu, Siheng Zhao, Jiazhao Zhang, Jialiang Zhang, Chengyang Zhao, Haoran Lu, Yufei Ding, Ran Gong, Yuran Wang, Yuxuan Kuang, Ruihai Wu, Baoxiong Jia, Carlo Sferrazza, Hao Dong, Siyuan Huang, Yue Wang, Jitendra Malik, Pieter Abbeel

cs.AI

Samenvatting

Dataschaling en gestandaardiseerde evaluatiebenchmarks hebben aanzienlijke vooruitgang geboekt in natuurlijke taalverwerking en computervisie. Robotica wordt echter geconfronteerd met unieke uitdagingen bij het schalen van data en het opzetten van evaluatieprotocollen. Het verzamelen van real-world data is resource-intensief en inefficiënt, terwijl benchmarken in real-world scenario's zeer complex blijft. Synthetische data en simulatie bieden veelbelovende alternatieven, maar bestaande inspanningen schieten vaak tekort in data kwaliteit, diversiteit en benchmarkstandaardisatie. Om deze uitdagingen aan te pakken, introduceren we RoboVerse, een uitgebreid framework bestaande uit een simulatieplatform, een synthetische dataset en uniforme benchmarks. Ons simulatieplatform ondersteunt meerdere simulatoren en robotische uitvoeringen, waardoor naadloze overgangen tussen verschillende omgevingen mogelijk zijn. De synthetische dataset, met hoogwaardige fysica en fotorealistische rendering, is opgebouwd via meerdere benaderingen. Daarnaast stellen we uniforme benchmarks voor imitatieleren en reinforcement learning voor, waardoor evaluatie op verschillende niveaus van generalisatie mogelijk wordt. De kern van het simulatieplatform is MetaSim, een infrastructuur die diverse simulatieomgevingen abstraheert naar een universele interface. Het herstructureert bestaande simulatieomgevingen naar een simulator-onafhankelijk configuratiesysteem, evenals een API die verschillende simulatorfunctionaliteiten afstemt, zoals het starten van simulatieomgevingen, het laden van assets met initiële staten, het stappen van de fysica-engine, enz. Deze abstractie zorgt voor interoperabiliteit en uitbreidbaarheid. Uitgebreide experimenten tonen aan dat RoboVerse de prestaties van imitatieleren, reinforcement learning, wereldmodel leren en sim-to-real transfer verbetert. Deze resultaten valideren de betrouwbaarheid van onze dataset en benchmarks, en vestigen RoboVerse als een robuuste oplossing voor het bevorderen van robotleren.

English

Data scaling and standardized evaluation benchmarks have driven significant advances in natural language processing and computer vision. However, robotics faces unique challenges in scaling data and establishing evaluation protocols. Collecting real-world data is resource-intensive and inefficient, while benchmarking in real-world scenarios remains highly complex. Synthetic data and simulation offer promising alternatives, yet existing efforts often fall short in data quality, diversity, and benchmark standardization. To address these challenges, we introduce RoboVerse, a comprehensive framework comprising a simulation platform, a synthetic dataset, and unified benchmarks. Our simulation platform supports multiple simulators and robotic embodiments, enabling seamless transitions between different environments. The synthetic dataset, featuring high-fidelity physics and photorealistic rendering, is constructed through multiple approaches. Additionally, we propose unified benchmarks for imitation learning and reinforcement learning, enabling evaluation across different levels of generalization. At the core of the simulation platform is MetaSim, an infrastructure that abstracts diverse simulation environments into a universal interface. It restructures existing simulation environments into a simulator-agnostic configuration system, as well as an API aligning different simulator functionalities, such as launching simulation environments, loading assets with initial states, stepping the physics engine, etc. This abstraction ensures interoperability and extensibility. Comprehensive experiments demonstrate that RoboVerse enhances the performance of imitation learning, reinforcement learning, world model learning, and sim-to-real transfer. These results validate the reliability of our dataset and benchmarks, establishing RoboVerse as a robust solution for advancing robot learning.