OASIS: De la Recolección de Datos de Simulación a la Locomanipulación Humanoide en el Mundo Real

Resumen

El progreso reciente en la manipulación robótica ha sido impulsado en gran medida por el aprendizaje a partir de demostraciones a gran escala. Sin embargo, para las tareas de locomoción-manipulación en robots humanoides, las fuentes de datos existentes imponen un compromiso insatisfactorio entre la calidad de las trayectorias y la escalabilidad. La teleoperación en el mundo real proporciona trayectorias de la más alta calidad, pero requiere un espacio físico dedicado y costosos reinicios de escenas en términos de tiempo. La simulación ofrece una alternativa para sortear este dilema: puede producir datos limpios y alineados con la morfología del robot a gran escala sin necesidad de hardware físico. En este artículo, proponemos OASIS, un marco basado en datos de simulación para la locomoción-manipulación humana. OASIS reconstruye automáticamente activos de objetos realistas a partir de imágenes del mundo real utilizando un modelo generativo 3D. Basándose en estos activos, primero se recopilan trayectorias mediante teleoperación en simulación, y luego se aumentan bajo diversas aleatorizaciones de dominio en una etapa de posprocesamiento. Con los datos de simulación resultantes, diseñamos además una política visuomotora jerárquica para la locomoción-manipulación humana. Experimentos exhaustivos con el robot humanoide real muestran que, bajo un despliegue sin entrenamiento previo (zero-shot), la política entrenada con nuestros datos de simulación logra tasas de éxito más altas en la mayoría de las tareas que la entrenada con datos de teleoperación en robots reales, debido en gran medida a las amplias variaciones de iluminación y entorno cubiertas por nuestra renderización de simulación, que los datos de robots reales no logran capturar. La página del proyecto está disponible en https://oasis-humanoid.github.io/.

English

Recent progress in robot manipulation has been largely driven by learning from large-scale demonstrations. For humanoid robot loco-manipulation tasks, however, existing data sources force an unsatisfying tradeoff between trajectory quality and scalability. Real-world teleoperation provides the highest-quality trajectories but requires dedicated physical space and time-consuming scene resets. Simulation offers an alternative way out of this dilemma: it can produce clean, embodiment-aligned data at scale without any physical hardware. In this paper, we propose OASIS, a simulation-data-driven framework for humanoid loco-manipulation. OASIS automatically reconstructs realistic object assets from real-world images using a 3D generative model. Based on these assets, trajectories are first collected through teleoperation in simulation, and then augmented under diverse domain randomizations in a post-processing stage. With the resulting simulation data, we further design a hierarchical visuomotor policy for humanoid loco-manipulation. Extensive experiments on the real humanoid robot show that, under zero-shot deployment, the policy trained on our simulation data achieves higher success rates on most tasks than that trained on real-robot teleoperation data, owing largely to the broad lighting and environmental variations covered by our simulation rendering, which real-robot data fails to capture. The project page is available at https://oasis-humanoid.github.io/.