RoboVerse: Rumo a uma Plataforma, Conjunto de Dados e Benchmark Unificados para Aprendizado de Robôs Escalável e Generalizável

RoboVerse: Towards a Unified Platform, Dataset and Benchmark for Scalable and Generalizable Robot Learning

April 26, 2025

Autores: Haoran Geng, Feishi Wang, Songlin Wei, Yuyang Li, Bangjun Wang, Boshi An, Charlie Tianyue Cheng, Haozhe Lou, Peihao Li, Yen-Jen Wang, Yutong Liang, Dylan Goetting, Chaoyi Xu, Haozhe Chen, Yuxi Qian, Yiran Geng, Jiageng Mao, Weikang Wan, Mingtong Zhang, Jiangran Lyu, Siheng Zhao, Jiazhao Zhang, Jialiang Zhang, Chengyang Zhao, Haoran Lu, Yufei Ding, Ran Gong, Yuran Wang, Yuxuan Kuang, Ruihai Wu, Baoxiong Jia, Carlo Sferrazza, Hao Dong, Siyuan Huang, Yue Wang, Jitendra Malik, Pieter Abbeel

cs.AI

Resumo

A escalabilidade de dados e os benchmarks de avaliação padronizados têm impulsionado avanços significativos no processamento de linguagem natural e na visão computacional. No entanto, a robótica enfrenta desafios únicos na escalabilidade de dados e na criação de protocolos de avaliação. Coletar dados do mundo real é intensivo em recursos e ineficiente, enquanto a avaliação em cenários reais permanece altamente complexa. Dados sintéticos e simulações oferecem alternativas promissoras, mas os esforços existentes frequentemente falham em termos de qualidade dos dados, diversidade e padronização de benchmarks. Para abordar esses desafios, apresentamos o RoboVerse, um framework abrangente que inclui uma plataforma de simulação, um conjunto de dados sintéticos e benchmarks unificados. Nossa plataforma de simulação suporta múltiplos simuladores e configurações robóticas, permitindo transições contínuas entre diferentes ambientes. O conjunto de dados sintéticos, que apresenta física de alta fidelidade e renderização fotorrealista, é construído por meio de múltiplas abordagens. Além disso, propomos benchmarks unificados para aprendizagem por imitação e aprendizagem por reforço, permitindo avaliação em diferentes níveis de generalização. No núcleo da plataforma de simulação está o MetaSim, uma infraestrutura que abstrai diversos ambientes de simulação em uma interface universal. Ele reestrutura ambientes de simulação existentes em um sistema de configuração independente de simulador, bem como uma API que alinha diferentes funcionalidades de simuladores, como iniciar ambientes de simulação, carregar ativos com estados iniciais, avançar o motor de física, entre outros. Essa abstração garante interoperabilidade e extensibilidade. Experimentos abrangentes demonstram que o RoboVerse melhora o desempenho da aprendizagem por imitação, aprendizagem por reforço, aprendizagem de modelos de mundo e transferência sim-para-real. Esses resultados validam a confiabilidade de nosso conjunto de dados e benchmarks, estabelecendo o RoboVerse como uma solução robusta para o avanço do aprendizado de robôs.

English

Data scaling and standardized evaluation benchmarks have driven significant advances in natural language processing and computer vision. However, robotics faces unique challenges in scaling data and establishing evaluation protocols. Collecting real-world data is resource-intensive and inefficient, while benchmarking in real-world scenarios remains highly complex. Synthetic data and simulation offer promising alternatives, yet existing efforts often fall short in data quality, diversity, and benchmark standardization. To address these challenges, we introduce RoboVerse, a comprehensive framework comprising a simulation platform, a synthetic dataset, and unified benchmarks. Our simulation platform supports multiple simulators and robotic embodiments, enabling seamless transitions between different environments. The synthetic dataset, featuring high-fidelity physics and photorealistic rendering, is constructed through multiple approaches. Additionally, we propose unified benchmarks for imitation learning and reinforcement learning, enabling evaluation across different levels of generalization. At the core of the simulation platform is MetaSim, an infrastructure that abstracts diverse simulation environments into a universal interface. It restructures existing simulation environments into a simulator-agnostic configuration system, as well as an API aligning different simulator functionalities, such as launching simulation environments, loading assets with initial states, stepping the physics engine, etc. This abstraction ensures interoperability and extensibility. Comprehensive experiments demonstrate that RoboVerse enhances the performance of imitation learning, reinforcement learning, world model learning, and sim-to-real transfer. These results validate the reliability of our dataset and benchmarks, establishing RoboVerse as a robust solution for advancing robot learning.