OASIS: シミュレーションデータ収集から実世界の人型ロボット移動操作へ

要旨

近年のロボット操作の進歩は、大規模なデモンストレーションからの学習によって大きく推進されてきた。しかし、人間型ロボットの移動操作タスクにおいては、既存のデータソースでは軌道品質とスケーラビリティの間に満足のいくトレードオフを見いだせないのが現状である。実世界の遠隔操作は最高品質の軌道を提供するものの、専用の物理的スペースと時間のかかるシーンリセットが必要となる。一方、シミュレーションはこのジレンマを脱する代替手段を提供する。物理的ハードウェアを一切使わずに、クリーンで身体特性に適合したデータを大規模に生成できるからである。本稿では、人間型ロボットの移動操作のためのシミュレーションデータ駆動フレームワークOASISを提案する。OASISは3D生成モデルを用いて、実世界の画像からリアルな物体アセットを自動的に再構築する。このアセットを基に、まずシミュレーション内で遠隔操作により軌道を収集し、その後ポストプロセッシング段階で多様なドメインランダム化のもとで軌道を拡張する。得られたシミュレーションデータを用いて、さらに人間型ロボットの移動操作のための階層型視覚運動ポリシーを設計する。実物の人間型ロボットを用いた広範な実験により、ゼロショット展開下において、シミュレーションデータで学習したポリシーは、実ロボットの遠隔操作データで学習したポリシーよりもほとんどのタスクで高い成功率を達成することが示された。これは主に、シミュレーションのレンダリングがカバーする広範な照明や環境のバリエーションが、実ロボットデータでは捉えきれていないためである。プロジェクトページは https://oasis-humanoid.github.io/ で公開されている。

English

Recent progress in robot manipulation has been largely driven by learning from large-scale demonstrations. For humanoid robot loco-manipulation tasks, however, existing data sources force an unsatisfying tradeoff between trajectory quality and scalability. Real-world teleoperation provides the highest-quality trajectories but requires dedicated physical space and time-consuming scene resets. Simulation offers an alternative way out of this dilemma: it can produce clean, embodiment-aligned data at scale without any physical hardware. In this paper, we propose OASIS, a simulation-data-driven framework for humanoid loco-manipulation. OASIS automatically reconstructs realistic object assets from real-world images using a 3D generative model. Based on these assets, trajectories are first collected through teleoperation in simulation, and then augmented under diverse domain randomizations in a post-processing stage. With the resulting simulation data, we further design a hierarchical visuomotor policy for humanoid loco-manipulation. Extensive experiments on the real humanoid robot show that, under zero-shot deployment, the policy trained on our simulation data achieves higher success rates on most tasks than that trained on real-robot teleoperation data, owing largely to the broad lighting and environmental variations covered by our simulation rendering, which real-robot data fails to capture. The project page is available at https://oasis-humanoid.github.io/.