RoboVerse: Hacia una Plataforma Unificada, Conjunto de Datos y Punto de Referencia para el Aprendizaje Robótico Escalable y Generalizable

RoboVerse: Towards a Unified Platform, Dataset and Benchmark for Scalable and Generalizable Robot Learning

April 26, 2025

Autores: Haoran Geng, Feishi Wang, Songlin Wei, Yuyang Li, Bangjun Wang, Boshi An, Charlie Tianyue Cheng, Haozhe Lou, Peihao Li, Yen-Jen Wang, Yutong Liang, Dylan Goetting, Chaoyi Xu, Haozhe Chen, Yuxi Qian, Yiran Geng, Jiageng Mao, Weikang Wan, Mingtong Zhang, Jiangran Lyu, Siheng Zhao, Jiazhao Zhang, Jialiang Zhang, Chengyang Zhao, Haoran Lu, Yufei Ding, Ran Gong, Yuran Wang, Yuxuan Kuang, Ruihai Wu, Baoxiong Jia, Carlo Sferrazza, Hao Dong, Siyuan Huang, Yue Wang, Jitendra Malik, Pieter Abbeel

cs.AI

Resumen

La escalabilidad de datos y los puntos de referencia estandarizados para evaluación han impulsado avances significativos en el procesamiento del lenguaje natural y la visión por computadora. Sin embargo, la robótica enfrenta desafíos únicos en la escalabilidad de datos y el establecimiento de protocolos de evaluación. La recopilación de datos del mundo real es intensiva en recursos e ineficiente, mientras que la evaluación comparativa en escenarios del mundo real sigue siendo altamente compleja. Los datos sintéticos y la simulación ofrecen alternativas prometedoras, aunque los esfuerzos existentes a menudo carecen de calidad, diversidad y estandarización en los puntos de referencia. Para abordar estos desafíos, presentamos RoboVerse, un marco integral que incluye una plataforma de simulación, un conjunto de datos sintéticos y puntos de referencia unificados. Nuestra plataforma de simulación admite múltiples simuladores y configuraciones robóticas, permitiendo transiciones fluidas entre diferentes entornos. El conjunto de datos sintéticos, que presenta física de alta fidelidad y renderizado fotorrealista, se construye mediante múltiples enfoques. Además, proponemos puntos de referencia unificados para el aprendizaje por imitación y el aprendizaje por refuerzo, permitiendo la evaluación en diferentes niveles de generalización. En el núcleo de la plataforma de simulación se encuentra MetaSim, una infraestructura que abstrae diversos entornos de simulación en una interfaz universal. Reestructura los entornos de simulación existentes en un sistema de configuración independiente del simulador, así como una API que alinea las funcionalidades de diferentes simuladores, como el lanzamiento de entornos de simulación, la carga de activos con estados iniciales, el avance del motor de física, etc. Esta abstracción garantiza la interoperabilidad y la extensibilidad. Experimentos exhaustivos demuestran que RoboVerse mejora el rendimiento del aprendizaje por imitación, el aprendizaje por refuerzo, el aprendizaje de modelos del mundo y la transferencia de simulación a realidad. Estos resultados validan la confiabilidad de nuestro conjunto de datos y puntos de referencia, estableciendo a RoboVerse como una solución robusta para avanzar en el aprendizaje robótico.

English

Data scaling and standardized evaluation benchmarks have driven significant advances in natural language processing and computer vision. However, robotics faces unique challenges in scaling data and establishing evaluation protocols. Collecting real-world data is resource-intensive and inefficient, while benchmarking in real-world scenarios remains highly complex. Synthetic data and simulation offer promising alternatives, yet existing efforts often fall short in data quality, diversity, and benchmark standardization. To address these challenges, we introduce RoboVerse, a comprehensive framework comprising a simulation platform, a synthetic dataset, and unified benchmarks. Our simulation platform supports multiple simulators and robotic embodiments, enabling seamless transitions between different environments. The synthetic dataset, featuring high-fidelity physics and photorealistic rendering, is constructed through multiple approaches. Additionally, we propose unified benchmarks for imitation learning and reinforcement learning, enabling evaluation across different levels of generalization. At the core of the simulation platform is MetaSim, an infrastructure that abstracts diverse simulation environments into a universal interface. It restructures existing simulation environments into a simulator-agnostic configuration system, as well as an API aligning different simulator functionalities, such as launching simulation environments, loading assets with initial states, stepping the physics engine, etc. This abstraction ensures interoperability and extensibility. Comprehensive experiments demonstrate that RoboVerse enhances the performance of imitation learning, reinforcement learning, world model learning, and sim-to-real transfer. These results validate the reliability of our dataset and benchmarks, establishing RoboVerse as a robust solution for advancing robot learning.