OASIS: Van simulatie-datacollectie naar humanoïde loco-manipulatie in de echte wereld

Samenvatting

Recente vooruitgang in robotmanipulatie wordt grotendeels gedreven door leren van grootschalige demonstraties. Voor humanoïde robot loco-manipulatietaken dwingen bestaande databronnen echter tot een onbevredigende afweging tussen trajectkwaliteit en schaalbaarheid. Teleoperatie in de echte wereld levert trajecten van de hoogste kwaliteit, maar vereist een speciale fysieke ruimte en tijdrovende scèneresets. Simulatie biedt een alternatieve uitweg uit dit dilemma: het kan schone, op de belichaming afgestemde data op schaal produceren zonder enige fysieke hardware. In dit artikel stellen we OASIS voor, een door simulatiegegevens aangedreven raamwerk voor humanoïde loco-manipulatie. OASIS reconstrueert automatisch realistische objectassets uit echte wereldbeelden met behulp van een 3D-generatief model. Op basis van deze assets worden eerst trajecten verzameld via teleoperatie in simulatie, en vervolgens aangevuld onder diverse domeinrandomisaties in een nabewerkingsfase. Met de resulterende simulatiegegevens ontwerpen we verder een hiërarchisch visuomotorisch beleid voor humanoïde loco-manipulatie. Uitgebreide experimenten op de echte humanoïde robot tonen aan dat, onder zero-shot inzet, het beleid getraind op onze simulatiegegevens hogere succespercentages behaalt op de meeste taken dan dat getraind op echte robotteleoperatiegegevens, grotendeels dankzij de brede belichtings- en omgevingsvariaties die onze simulatieweergave dekt, die echte robotgegevens niet kunnen vastleggen. De projectpagina is beschikbaar op https://oasis-humanoid.github.io/.

English

Recent progress in robot manipulation has been largely driven by learning from large-scale demonstrations. For humanoid robot loco-manipulation tasks, however, existing data sources force an unsatisfying tradeoff between trajectory quality and scalability. Real-world teleoperation provides the highest-quality trajectories but requires dedicated physical space and time-consuming scene resets. Simulation offers an alternative way out of this dilemma: it can produce clean, embodiment-aligned data at scale without any physical hardware. In this paper, we propose OASIS, a simulation-data-driven framework for humanoid loco-manipulation. OASIS automatically reconstructs realistic object assets from real-world images using a 3D generative model. Based on these assets, trajectories are first collected through teleoperation in simulation, and then augmented under diverse domain randomizations in a post-processing stage. With the resulting simulation data, we further design a hierarchical visuomotor policy for humanoid loco-manipulation. Extensive experiments on the real humanoid robot show that, under zero-shot deployment, the policy trained on our simulation data achieves higher success rates on most tasks than that trained on real-robot teleoperation data, owing largely to the broad lighting and environmental variations covered by our simulation rendering, which real-robot data fails to capture. The project page is available at https://oasis-humanoid.github.io/.