RoboVerse：スケーラブルで汎用可能なロボット学習のための統合プラットフォーム、データセット、ベンチマークに向けて

要旨

データのスケーリングと標準化された評価ベンチマークは、自然言語処理やコンピュータビジョンにおいて大きな進展をもたらしてきました。しかし、ロボティクスではデータのスケーリングと評価プロトコルの確立において独自の課題に直面しています。現実世界のデータ収集はリソース集約的で非効率的であり、現実世界のシナリオでのベンチマーキングは依然として非常に複雑です。合成データとシミュレーションは有望な代替手段を提供しますが、既存の取り組みはデータの品質、多様性、ベンチマークの標準化においてしばしば不十分です。これらの課題に対処するため、我々はRoboVerseを紹介します。これはシミュレーションプラットフォーム、合成データセット、統一されたベンチマークからなる包括的なフレームワークです。我々のシミュレーションプラットフォームは複数のシミュレータとロボットの実装をサポートし、異なる環境間のシームレスな移行を可能にします。高忠実度の物理とフォトリアルなレンダリングを特徴とする合成データセットは、複数のアプローチを通じて構築されています。さらに、模倣学習と強化学習のための統一されたベンチマークを提案し、異なるレベルの汎化能力にわたる評価を可能にします。シミュレーションプラットフォームの中核には、多様なシミュレーション環境をユニバーサルインターフェースに抽象化するMetaSimがあります。これは既存のシミュレーション環境をシミュレータに依存しない設定システムに再構築し、シミュレーション環境の起動、初期状態でのアセットのロード、物理エンジンのステップ実行など、異なるシミュレータの機能を整列させるAPIを提供します。この抽象化により、相互運用性と拡張性が確保されます。包括的な実験により、RoboVerseが模倣学習、強化学習、世界モデル学習、シミュレーションから現実への転移の性能を向上させることが実証されました。これらの結果は、我々のデータセットとベンチマークの信頼性を検証し、RoboVerseがロボット学習を進めるための堅牢なソリューションであることを確立します。

English

Data scaling and standardized evaluation benchmarks have driven significant advances in natural language processing and computer vision. However, robotics faces unique challenges in scaling data and establishing evaluation protocols. Collecting real-world data is resource-intensive and inefficient, while benchmarking in real-world scenarios remains highly complex. Synthetic data and simulation offer promising alternatives, yet existing efforts often fall short in data quality, diversity, and benchmark standardization. To address these challenges, we introduce RoboVerse, a comprehensive framework comprising a simulation platform, a synthetic dataset, and unified benchmarks. Our simulation platform supports multiple simulators and robotic embodiments, enabling seamless transitions between different environments. The synthetic dataset, featuring high-fidelity physics and photorealistic rendering, is constructed through multiple approaches. Additionally, we propose unified benchmarks for imitation learning and reinforcement learning, enabling evaluation across different levels of generalization. At the core of the simulation platform is MetaSim, an infrastructure that abstracts diverse simulation environments into a universal interface. It restructures existing simulation environments into a simulator-agnostic configuration system, as well as an API aligning different simulator functionalities, such as launching simulation environments, loading assets with initial states, stepping the physics engine, etc. This abstraction ensures interoperability and extensibility. Comprehensive experiments demonstrate that RoboVerse enhances the performance of imitation learning, reinforcement learning, world model learning, and sim-to-real transfer. These results validate the reliability of our dataset and benchmarks, establishing RoboVerse as a robust solution for advancing robot learning.

RoboVerse：スケーラブルで汎用可能なロボット学習のための統合プラットフォーム、データセット、ベンチマークに向けて

RoboVerse: Towards a Unified Platform, Dataset and Benchmark for Scalable and Generalizable Robot Learning

要旨

Support