RoboVerse : Vers une plateforme, un ensemble de données et un benchmark unifiés pour l'apprentissage robotique scalable et généralisable

RoboVerse: Towards a Unified Platform, Dataset and Benchmark for Scalable and Generalizable Robot Learning

April 26, 2025

Auteurs: Haoran Geng, Feishi Wang, Songlin Wei, Yuyang Li, Bangjun Wang, Boshi An, Charlie Tianyue Cheng, Haozhe Lou, Peihao Li, Yen-Jen Wang, Yutong Liang, Dylan Goetting, Chaoyi Xu, Haozhe Chen, Yuxi Qian, Yiran Geng, Jiageng Mao, Weikang Wan, Mingtong Zhang, Jiangran Lyu, Siheng Zhao, Jiazhao Zhang, Jialiang Zhang, Chengyang Zhao, Haoran Lu, Yufei Ding, Ran Gong, Yuran Wang, Yuxuan Kuang, Ruihai Wu, Baoxiong Jia, Carlo Sferrazza, Hao Dong, Siyuan Huang, Yue Wang, Jitendra Malik, Pieter Abbeel

cs.AI

Résumé

La mise à l'échelle des données et les benchmarks d'évaluation standardisés ont permis des avancées significatives dans le traitement du langage naturel et la vision par ordinateur. Cependant, la robotique fait face à des défis uniques en matière de mise à l'échelle des données et d'établissement de protocoles d'évaluation. La collecte de données dans le monde réel est coûteuse en ressources et inefficace, tandis que l'évaluation dans des scénarios réels reste extrêmement complexe. Les données synthétiques et la simulation offrent des alternatives prometteuses, mais les efforts existants manquent souvent en termes de qualité des données, de diversité et de standardisation des benchmarks. Pour relever ces défis, nous présentons RoboVerse, un cadre complet comprenant une plateforme de simulation, un ensemble de données synthétiques et des benchmarks unifiés. Notre plateforme de simulation prend en charge plusieurs simulateurs et incarnations robotiques, permettant des transitions fluides entre différents environnements. L'ensemble de données synthétiques, caractérisé par une physique haute fidélité et un rendu photoréaliste, est construit à travers plusieurs approches. De plus, nous proposons des benchmarks unifiés pour l'apprentissage par imitation et l'apprentissage par renforcement, permettant une évaluation à différents niveaux de généralisation. Au cœur de la plateforme de simulation se trouve MetaSim, une infrastructure qui abstrait divers environnements de simulation en une interface universelle. Il restructure les environnements de simulation existants en un système de configuration indépendant du simulateur, ainsi qu'une API alignant les fonctionnalités de différents simulateurs, telles que le lancement d'environnements de simulation, le chargement d'actifs avec des états initiaux, l'avancement du moteur physique, etc. Cette abstraction garantit l'interopérabilité et l'extensibilité. Des expériences approfondies démontrent que RoboVerse améliore les performances de l'apprentissage par imitation, de l'apprentissage par renforcement, de l'apprentissage de modèles du monde et du transfert simulation-réel. Ces résultats valident la fiabilité de notre ensemble de données et de nos benchmarks, établissant RoboVerse comme une solution robuste pour faire progresser l'apprentissage robotique.

English

Data scaling and standardized evaluation benchmarks have driven significant advances in natural language processing and computer vision. However, robotics faces unique challenges in scaling data and establishing evaluation protocols. Collecting real-world data is resource-intensive and inefficient, while benchmarking in real-world scenarios remains highly complex. Synthetic data and simulation offer promising alternatives, yet existing efforts often fall short in data quality, diversity, and benchmark standardization. To address these challenges, we introduce RoboVerse, a comprehensive framework comprising a simulation platform, a synthetic dataset, and unified benchmarks. Our simulation platform supports multiple simulators and robotic embodiments, enabling seamless transitions between different environments. The synthetic dataset, featuring high-fidelity physics and photorealistic rendering, is constructed through multiple approaches. Additionally, we propose unified benchmarks for imitation learning and reinforcement learning, enabling evaluation across different levels of generalization. At the core of the simulation platform is MetaSim, an infrastructure that abstracts diverse simulation environments into a universal interface. It restructures existing simulation environments into a simulator-agnostic configuration system, as well as an API aligning different simulator functionalities, such as launching simulation environments, loading assets with initial states, stepping the physics engine, etc. This abstraction ensures interoperability and extensibility. Comprehensive experiments demonstrate that RoboVerse enhances the performance of imitation learning, reinforcement learning, world model learning, and sim-to-real transfer. These results validate the reliability of our dataset and benchmarks, establishing RoboVerse as a robust solution for advancing robot learning.