로보버스: 확장 가능하고 일반화 가능한 로봇 학습을 위한 통합 플랫폼, 데이터셋 및 벤치마크 구축을 향하여

초록

데이터 스케일링과 표준화된 평가 벤치마크는 자연어 처리와 컴퓨터 비전 분야에서 상당한 발전을 이끌어 왔습니다. 그러나 로보틱스는 데이터 스케일링과 평가 프로토콜 수립에 있어 독특한 도전에 직면해 있습니다. 실제 세계 데이터를 수집하는 것은 자원 집약적이고 비효율적이며, 실제 시나리오에서의 벤치마킹은 여전히 매우 복잡합니다. 합성 데이터와 시뮬레이션은 유망한 대안을 제공하지만, 기존의 노력들은 데이터 품질, 다양성, 그리고 벤치마크 표준화 측면에서 종종 부족한 점을 보입니다. 이러한 도전 과제를 해결하기 위해, 우리는 시뮬레이션 플랫폼, 합성 데이터셋, 그리고 통합 벤치마크로 구성된 포괄적인 프레임워크인 RoboVerse를 소개합니다. 우리의 시뮬레이션 플랫폼은 여러 시뮬레이터와 로봇 구현체를 지원하여 다양한 환경 간의 원활한 전환을 가능하게 합니다. 고해상도 물리 시뮬레이션과 사실적인 렌더링을 특징으로 하는 합성 데이터셋은 여러 접근 방식을 통해 구축되었습니다. 또한, 우리는 모방 학습과 강화 학습을 위한 통합 벤치마크를 제안하여 다양한 일반화 수준에서의 평가를 가능하게 합니다. 시뮬레이션 플랫폼의 핵심은 다양한 시뮬레이션 환경을 보편적인 인터페이스로 추상화하는 MetaSim 인프라입니다. 이는 기존의 시뮬레이션 환경을 시뮬레이터에 구애받지 않는 구성 시스템과, 시뮬레이션 환경 실행, 초기 상태로 자산 로드, 물리 엔진 스텝 실행 등과 같은 다양한 시뮬레이터 기능을 정렬하는 API로 재구성합니다. 이러한 추상화는 상호 운용성과 확장성을 보장합니다. 포괄적인 실험을 통해 RoboVerse가 모방 학습, 강화 학습, 세계 모델 학습, 그리고 시뮬레이션에서 실제로의 전이 성능을 향상시킨다는 것을 입증했습니다. 이러한 결과는 우리의 데이터셋과 벤치마크의 신뢰성을 검증하며, RoboVerse가 로봇 학습을 발전시키기 위한 견고한 솔루션임을 입증합니다.

English

Data scaling and standardized evaluation benchmarks have driven significant advances in natural language processing and computer vision. However, robotics faces unique challenges in scaling data and establishing evaluation protocols. Collecting real-world data is resource-intensive and inefficient, while benchmarking in real-world scenarios remains highly complex. Synthetic data and simulation offer promising alternatives, yet existing efforts often fall short in data quality, diversity, and benchmark standardization. To address these challenges, we introduce RoboVerse, a comprehensive framework comprising a simulation platform, a synthetic dataset, and unified benchmarks. Our simulation platform supports multiple simulators and robotic embodiments, enabling seamless transitions between different environments. The synthetic dataset, featuring high-fidelity physics and photorealistic rendering, is constructed through multiple approaches. Additionally, we propose unified benchmarks for imitation learning and reinforcement learning, enabling evaluation across different levels of generalization. At the core of the simulation platform is MetaSim, an infrastructure that abstracts diverse simulation environments into a universal interface. It restructures existing simulation environments into a simulator-agnostic configuration system, as well as an API aligning different simulator functionalities, such as launching simulation environments, loading assets with initial states, stepping the physics engine, etc. This abstraction ensures interoperability and extensibility. Comprehensive experiments demonstrate that RoboVerse enhances the performance of imitation learning, reinforcement learning, world model learning, and sim-to-real transfer. These results validate the reliability of our dataset and benchmarks, establishing RoboVerse as a robust solution for advancing robot learning.

로보버스: 확장 가능하고 일반화 가능한 로봇 학습을 위한 통합 플랫폼, 데이터셋 및 벤치마크 구축을 향하여

RoboVerse: Towards a Unified Platform, Dataset and Benchmark for Scalable and Generalizable Robot Learning

초록

Support