OASIS : De la collecte de données de simulation à la loco-manipulation humanoïde en environnement réel

Résumé

Les progrès récents en manipulation robotique ont été largement motivés par l'apprentissage à partir de démonstrations à grande échelle. Pour les tâches de loco-manipulation des robots humanoïdes, cependant, les sources de données existantes imposent un compromis insatisfaisant entre la qualité des trajectoires et l'évolutivité. La téléopération dans le monde réel fournit les trajectoires de la plus haute qualité, mais nécessite un espace physique dédié et des réinitialisations de scène chronophages. La simulation offre une alternative pour sortir de ce dilemme : elle peut produire des données propres, alignées sur l'incarnation, à grande échelle sans aucun matériel physique. Dans cet article, nous proposons OASIS, un cadre basé sur les données de simulation pour la loco-manipulation humanoïde. OASIS reconstruit automatiquement des actifs d'objets réalistes à partir d'images du monde réel en utilisant un modèle génératif 3D. Sur la base de ces actifs, les trajectoires sont d'abord collectées par téléopération en simulation, puis augmentées sous diverses randomisations de domaine dans une étape de post-traitement. Avec les données de simulation résultantes, nous concevons en outre une politique visuomotrice hiérarchique pour la loco-manipulation humanoïde. Des expériences approfondies sur le robot humanoïde réel montrent que, lors d'un déploiement zero-shot, la politique entraînée sur nos données de simulation atteint des taux de succès plus élevés sur la plupart des tâches que celle entraînée sur les données de téléopération du robot réel, en grande partie grâce aux larges variations d'éclairage et d'environnement couvertes par notre rendu de simulation, que les données du robot réel ne parviennent pas à capturer. La page du projet est disponible à l'adresse https://oasis-humanoid.github.io/.

English

Recent progress in robot manipulation has been largely driven by learning from large-scale demonstrations. For humanoid robot loco-manipulation tasks, however, existing data sources force an unsatisfying tradeoff between trajectory quality and scalability. Real-world teleoperation provides the highest-quality trajectories but requires dedicated physical space and time-consuming scene resets. Simulation offers an alternative way out of this dilemma: it can produce clean, embodiment-aligned data at scale without any physical hardware. In this paper, we propose OASIS, a simulation-data-driven framework for humanoid loco-manipulation. OASIS automatically reconstructs realistic object assets from real-world images using a 3D generative model. Based on these assets, trajectories are first collected through teleoperation in simulation, and then augmented under diverse domain randomizations in a post-processing stage. With the resulting simulation data, we further design a hierarchical visuomotor policy for humanoid loco-manipulation. Extensive experiments on the real humanoid robot show that, under zero-shot deployment, the policy trained on our simulation data achieves higher success rates on most tasks than that trained on real-robot teleoperation data, owing largely to the broad lighting and environmental variations covered by our simulation rendering, which real-robot data fails to capture. The project page is available at https://oasis-humanoid.github.io/.