OASIS: 시뮬레이션 데이터 수집부터 실제 세계의 휴머노이드 보행-조작까지

초록

최근 로봇 조작 기술의 발전은 대규모 시연 데이터를 통한 학습에 크게 의존해 왔다. 그러나 휴머노이드 로봇의 이동 조작 작업의 경우, 기존 데이터 소스는 궤적 품질과 확장성 사이에서 만족스럽지 못한 절충을 강요한다. 실제 원격 조작은 가장 높은 품질의 궤적을 제공하지만, 전용 물리적 공간과 시간 소모적인 장면 재설정이 필요하다. 시뮬레이션은 이러한 딜레마에서 벗어날 수 있는 대안을 제시한다. 즉, 물리적 하드웨어 없이도 대규모로 깨끗하고 신체 정렬된 데이터를 생성할 수 있다. 본 논문에서는 휴머노이드 이동 조작을 위한 시뮬레이션 데이터 기반 프레임워크인 OASIS를 제안한다. OASIS는 3D 생성 모델을 사용하여 실제 이미지로부터 사실적인 객체 자산을 자동으로 재구성한다. 이러한 자산을 기반으로 먼저 시뮬레이션 내 원격 조작을 통해 궤적을 수집한 후, 후처리 단계에서 다양한 도메인 무작위화를 적용하여 증강한다. 생성된 시뮬레이션 데이터를 바탕으로 휴머노이드 이동 조작을 위한 계층적 시각-운동 정책을 추가로 설계한다. 실제 휴머노이드 로봇을 대상으로 한 광범위한 실험 결과, 제로샷 배치 조건에서 시뮬레이션 데이터로 학습된 정책이 대부분의 작업에서 실제 로봇 원격 조작 데이터로 학습된 정책보다 더 높은 성공률을 달성함을 보여준다. 이는 시뮬레이션 렌더링이 포괄하는 광범위한 조명 및 환경 변동성, 즉 실제 로봇 데이터가 포착하지 못하는 요소에 주로 기인한다. 프로젝트 페이지는 https://oasis-humanoid.github.io/에서 확인할 수 있다.

English

Recent progress in robot manipulation has been largely driven by learning from large-scale demonstrations. For humanoid robot loco-manipulation tasks, however, existing data sources force an unsatisfying tradeoff between trajectory quality and scalability. Real-world teleoperation provides the highest-quality trajectories but requires dedicated physical space and time-consuming scene resets. Simulation offers an alternative way out of this dilemma: it can produce clean, embodiment-aligned data at scale without any physical hardware. In this paper, we propose OASIS, a simulation-data-driven framework for humanoid loco-manipulation. OASIS automatically reconstructs realistic object assets from real-world images using a 3D generative model. Based on these assets, trajectories are first collected through teleoperation in simulation, and then augmented under diverse domain randomizations in a post-processing stage. With the resulting simulation data, we further design a hierarchical visuomotor policy for humanoid loco-manipulation. Extensive experiments on the real humanoid robot show that, under zero-shot deployment, the policy trained on our simulation data achieves higher success rates on most tasks than that trained on real-robot teleoperation data, owing largely to the broad lighting and environmental variations covered by our simulation rendering, which real-robot data fails to capture. The project page is available at https://oasis-humanoid.github.io/.