RoboVerse: Verso una Piattaforma Unificata, Dataset e Benchmark per l'Apprendimento Robotico Scalabile e Generalizzabile

RoboVerse: Towards a Unified Platform, Dataset and Benchmark for Scalable and Generalizable Robot Learning

April 26, 2025

Autori: Haoran Geng, Feishi Wang, Songlin Wei, Yuyang Li, Bangjun Wang, Boshi An, Charlie Tianyue Cheng, Haozhe Lou, Peihao Li, Yen-Jen Wang, Yutong Liang, Dylan Goetting, Chaoyi Xu, Haozhe Chen, Yuxi Qian, Yiran Geng, Jiageng Mao, Weikang Wan, Mingtong Zhang, Jiangran Lyu, Siheng Zhao, Jiazhao Zhang, Jialiang Zhang, Chengyang Zhao, Haoran Lu, Yufei Ding, Ran Gong, Yuran Wang, Yuxuan Kuang, Ruihai Wu, Baoxiong Jia, Carlo Sferrazza, Hao Dong, Siyuan Huang, Yue Wang, Jitendra Malik, Pieter Abbeel

cs.AI

Abstract

La scalabilità dei dati e i benchmark di valutazione standardizzati hanno guidato progressi significativi nell'elaborazione del linguaggio naturale e nella visione artificiale. Tuttavia, la robotica affronta sfide uniche nel ridimensionamento dei dati e nell'istituzione di protocolli di valutazione. La raccolta di dati nel mondo reale è dispendiosa in termini di risorse e inefficiente, mentre il benchmarking in scenari reali rimane estremamente complesso. I dati sintetici e la simulazione offrono alternative promettenti, ma gli sforzi esistenti spesso non raggiungono la qualità, la diversità e la standardizzazione dei benchmark necessarie. Per affrontare queste sfide, introduciamo RoboVerse, un framework completo che comprende una piattaforma di simulazione, un dataset sintetico e benchmark unificati. La nostra piattaforma di simulazione supporta più simulatori e configurazioni robotiche, consentendo transizioni senza soluzione di continuità tra diversi ambienti. Il dataset sintetico, caratterizzato da fisica ad alta fedeltà e rendering fotorealistico, è costruito attraverso molteplici approcci. Inoltre, proponiamo benchmark unificati per l'apprendimento per imitazione e l'apprendimento per rinforzo, consentendo la valutazione attraverso diversi livelli di generalizzazione. Al centro della piattaforma di simulazione c'è MetaSim, un'infrastruttura che astrae diversi ambienti di simulazione in un'interfaccia universale. Ristruttura gli ambienti di simulazione esistenti in un sistema di configurazione indipendente dal simulatore, nonché in un API che allinea diverse funzionalità dei simulatori, come l'avvio degli ambienti di simulazione, il caricamento di asset con stati iniziali, l'avanzamento del motore fisico, ecc. Questa astrazione garantisce interoperabilità e estensibilità. Esperimenti completi dimostrano che RoboVerse migliora le prestazioni dell'apprendimento per imitazione, dell'apprendimento per rinforzo, dell'apprendimento di modelli del mondo e del trasferimento da simulazione a realtà. Questi risultati convalidano l'affidabilità del nostro dataset e dei benchmark, stabilendo RoboVerse come una soluzione robusta per l'avanzamento dell'apprendimento robotico.

English

Data scaling and standardized evaluation benchmarks have driven significant advances in natural language processing and computer vision. However, robotics faces unique challenges in scaling data and establishing evaluation protocols. Collecting real-world data is resource-intensive and inefficient, while benchmarking in real-world scenarios remains highly complex. Synthetic data and simulation offer promising alternatives, yet existing efforts often fall short in data quality, diversity, and benchmark standardization. To address these challenges, we introduce RoboVerse, a comprehensive framework comprising a simulation platform, a synthetic dataset, and unified benchmarks. Our simulation platform supports multiple simulators and robotic embodiments, enabling seamless transitions between different environments. The synthetic dataset, featuring high-fidelity physics and photorealistic rendering, is constructed through multiple approaches. Additionally, we propose unified benchmarks for imitation learning and reinforcement learning, enabling evaluation across different levels of generalization. At the core of the simulation platform is MetaSim, an infrastructure that abstracts diverse simulation environments into a universal interface. It restructures existing simulation environments into a simulator-agnostic configuration system, as well as an API aligning different simulator functionalities, such as launching simulation environments, loading assets with initial states, stepping the physics engine, etc. This abstraction ensures interoperability and extensibility. Comprehensive experiments demonstrate that RoboVerse enhances the performance of imitation learning, reinforcement learning, world model learning, and sim-to-real transfer. These results validate the reliability of our dataset and benchmarks, establishing RoboVerse as a robust solution for advancing robot learning.