RoboVerse: К единой платформе, набору данных и эталону для масштабируемого и обобщаемого обучения роботов

RoboVerse: Towards a Unified Platform, Dataset and Benchmark for Scalable and Generalizable Robot Learning

April 26, 2025

Авторы: Haoran Geng, Feishi Wang, Songlin Wei, Yuyang Li, Bangjun Wang, Boshi An, Charlie Tianyue Cheng, Haozhe Lou, Peihao Li, Yen-Jen Wang, Yutong Liang, Dylan Goetting, Chaoyi Xu, Haozhe Chen, Yuxi Qian, Yiran Geng, Jiageng Mao, Weikang Wan, Mingtong Zhang, Jiangran Lyu, Siheng Zhao, Jiazhao Zhang, Jialiang Zhang, Chengyang Zhao, Haoran Lu, Yufei Ding, Ran Gong, Yuran Wang, Yuxuan Kuang, Ruihai Wu, Baoxiong Jia, Carlo Sferrazza, Hao Dong, Siyuan Huang, Yue Wang, Jitendra Malik, Pieter Abbeel

cs.AI

Аннотация

Масштабирование данных и стандартизированные оценочные тесты сыграли ключевую роль в значительных достижениях в области обработки естественного языка и компьютерного зрения. Однако в робототехнике возникают уникальные сложности, связанные с масштабированием данных и разработкой протоколов оценки. Сбор данных в реальном мире требует значительных ресурсов и неэффективен, а тестирование в реальных сценариях остается крайне сложным. Синтетические данные и симуляции предлагают перспективные альтернативы, однако существующие подходы часто не соответствуют требованиям к качеству данных, их разнообразию и стандартизации тестов. Для решения этих проблем мы представляем RoboVerse — комплексную платформу, включающую симуляционную среду, синтетический набор данных и унифицированные тесты. Наша симуляционная платформа поддерживает несколько симуляторов и различных роботов, обеспечивая плавный переход между различными средами. Синтетический набор данных, отличающийся высокой точностью физики и фотореалистичной визуализацией, создается с использованием нескольких подходов. Кроме того, мы предлагаем унифицированные тесты для обучения с подражанием и обучения с подкреплением, позволяющие оценивать результаты на разных уровнях обобщения. Основой симуляционной платформы является MetaSim — инфраструктура, которая абстрагирует разнообразные симуляционные среды в универсальный интерфейс. Она преобразует существующие симуляционные среды в систему конфигурации, независимую от симулятора, а также предоставляет API, объединяющий различные функции симуляторов, такие как запуск симуляционных сред, загрузка ресурсов с начальными состояниями, шаги физического движка и т.д. Эта абстракция обеспечивает совместимость и расширяемость. Комплексные эксперименты демонстрируют, что RoboVerse улучшает производительность в задачах обучения с подражанием, обучения с подкреплением, обучения моделей мира и переноса из симуляции в реальность. Эти результаты подтверждают надежность нашего набора данных и тестов, устанавливая RoboVerse как надежное решение для продвижения обучения роботов.

English

Data scaling and standardized evaluation benchmarks have driven significant advances in natural language processing and computer vision. However, robotics faces unique challenges in scaling data and establishing evaluation protocols. Collecting real-world data is resource-intensive and inefficient, while benchmarking in real-world scenarios remains highly complex. Synthetic data and simulation offer promising alternatives, yet existing efforts often fall short in data quality, diversity, and benchmark standardization. To address these challenges, we introduce RoboVerse, a comprehensive framework comprising a simulation platform, a synthetic dataset, and unified benchmarks. Our simulation platform supports multiple simulators and robotic embodiments, enabling seamless transitions between different environments. The synthetic dataset, featuring high-fidelity physics and photorealistic rendering, is constructed through multiple approaches. Additionally, we propose unified benchmarks for imitation learning and reinforcement learning, enabling evaluation across different levels of generalization. At the core of the simulation platform is MetaSim, an infrastructure that abstracts diverse simulation environments into a universal interface. It restructures existing simulation environments into a simulator-agnostic configuration system, as well as an API aligning different simulator functionalities, such as launching simulation environments, loading assets with initial states, stepping the physics engine, etc. This abstraction ensures interoperability and extensibility. Comprehensive experiments demonstrate that RoboVerse enhances the performance of imitation learning, reinforcement learning, world model learning, and sim-to-real transfer. These results validate the reliability of our dataset and benchmarks, establishing RoboVerse as a robust solution for advancing robot learning.