RoboVerse: Auf dem Weg zu einer einheitlichen Plattform, einem Datensatz und einem Benchmark für skalierbares und generalisierbares Robotik-Lernen

RoboVerse: Towards a Unified Platform, Dataset and Benchmark for Scalable and Generalizable Robot Learning

April 26, 2025

Autoren: Haoran Geng, Feishi Wang, Songlin Wei, Yuyang Li, Bangjun Wang, Boshi An, Charlie Tianyue Cheng, Haozhe Lou, Peihao Li, Yen-Jen Wang, Yutong Liang, Dylan Goetting, Chaoyi Xu, Haozhe Chen, Yuxi Qian, Yiran Geng, Jiageng Mao, Weikang Wan, Mingtong Zhang, Jiangran Lyu, Siheng Zhao, Jiazhao Zhang, Jialiang Zhang, Chengyang Zhao, Haoran Lu, Yufei Ding, Ran Gong, Yuran Wang, Yuxuan Kuang, Ruihai Wu, Baoxiong Jia, Carlo Sferrazza, Hao Dong, Siyuan Huang, Yue Wang, Jitendra Malik, Pieter Abbeel

cs.AI

Zusammenfassung

Die Skalierung von Daten und standardisierte Evaluierungsbenchmarks haben erhebliche Fortschritte in der natürlichen Sprachverarbeitung und der Computer Vision vorangetrieben. Allerdings stehen der Robotik einzigartige Herausforderungen bei der Skalierung von Daten und der Etablierung von Evaluierungsprotokollen gegenüber. Die Erfassung von realen Daten ist ressourcenintensiv und ineffizient, während die Bewertung in realen Szenarien äußerst komplex bleibt. Synthetische Daten und Simulationen bieten vielversprechende Alternativen, doch bestehende Ansätze erreichen oft nicht die erforderliche Datenqualität, Diversität und Benchmark-Standardisierung. Um diese Herausforderungen zu bewältigen, stellen wir RoboVerse vor, ein umfassendes Framework, das eine Simulationsplattform, einen synthetischen Datensatz und einheitliche Benchmarks umfasst. Unsere Simulationsplattform unterstützt mehrere Simulatoren und robotische Implementierungen und ermöglicht nahtlose Übergänge zwischen verschiedenen Umgebungen. Der synthetische Datensatz, der durch hochwertige Physik und fotorealistisches Rendering gekennzeichnet ist, wird durch mehrere Ansätze erstellt. Zusätzlich schlagen wir einheitliche Benchmarks für Imitationslernen und bestärkendes Lernen vor, die eine Bewertung über verschiedene Generalisierungsstufen hinweg ermöglichen. Im Kern der Simulationsplattform steht MetaSim, eine Infrastruktur, die verschiedene Simulationsumgebungen in eine universelle Schnittstelle abstrahiert. Sie strukturiert bestehende Simulationsumgebungen in ein simulatorunabhängiges Konfigurationssystem sowie eine API um, die verschiedene Simulatorfunktionen wie das Starten von Simulationsumgebungen, das Laden von Assets mit Anfangszuständen, das Fortschreiten der Physik-Engine usw. ausrichtet. Diese Abstraktion gewährleistet Interoperabilität und Erweiterbarkeit. Umfassende Experimente zeigen, dass RoboVerse die Leistung von Imitationslernen, bestärkendem Lernen, Weltmodelllernen und Sim-to-Real-Transfer verbessert. Diese Ergebnisse bestätigen die Zuverlässigkeit unseres Datensatzes und der Benchmarks und etablieren RoboVerse als robuste Lösung zur Weiterentwicklung des Robotik-Lernens.

English

Data scaling and standardized evaluation benchmarks have driven significant advances in natural language processing and computer vision. However, robotics faces unique challenges in scaling data and establishing evaluation protocols. Collecting real-world data is resource-intensive and inefficient, while benchmarking in real-world scenarios remains highly complex. Synthetic data and simulation offer promising alternatives, yet existing efforts often fall short in data quality, diversity, and benchmark standardization. To address these challenges, we introduce RoboVerse, a comprehensive framework comprising a simulation platform, a synthetic dataset, and unified benchmarks. Our simulation platform supports multiple simulators and robotic embodiments, enabling seamless transitions between different environments. The synthetic dataset, featuring high-fidelity physics and photorealistic rendering, is constructed through multiple approaches. Additionally, we propose unified benchmarks for imitation learning and reinforcement learning, enabling evaluation across different levels of generalization. At the core of the simulation platform is MetaSim, an infrastructure that abstracts diverse simulation environments into a universal interface. It restructures existing simulation environments into a simulator-agnostic configuration system, as well as an API aligning different simulator functionalities, such as launching simulation environments, loading assets with initial states, stepping the physics engine, etc. This abstraction ensures interoperability and extensibility. Comprehensive experiments demonstrate that RoboVerse enhances the performance of imitation learning, reinforcement learning, world model learning, and sim-to-real transfer. These results validate the reliability of our dataset and benchmarks, establishing RoboVerse as a robust solution for advancing robot learning.