OASIS: Von der Simulationsdatenerfassung zur realweltlichen humanoiden Loko-Manipulation

Zusammenfassung

Die jüngsten Fortschritte in der Roboter-Manipulation wurden maßgeblich durch Lernen aus groß angelegten Demonstrationen vorangetrieben. Für Aufgaben der Lokomotions-Manipulation humanoider Roboter erzwingen bestehende Datenquellen jedoch einen unbefriedigenden Kompromiss zwischen Trajektorienqualität und Skalierbarkeit. Teleoperation in der realen Welt liefert Trajektorien höchster Qualität, erfordert jedoch dedizierte physische Räume und zeitaufwändige Szenenrücksetzungen. Simulation bietet einen alternativen Ausweg aus diesem Dilemma: Sie kann saubere, körperangepasste Daten in großem Umfang ohne physische Hardware erzeugen. In diesem Artikel schlagen wir OASIS vor, ein simulationsdatengetriebenes Framework für die Lokomotions-Manipulation humanoider Roboter. OASIS rekonstruiert automatisch realistische Objekt-Assets aus realen Bildern mittels eines 3D-generativen Modells. Basierend auf diesen Assets werden Trajektorien zunächst durch Teleoperation in der Simulation gesammelt und anschließend in einer Nachbearbeitungsphase unter verschiedenen Domänenrandomisierungen erweitert. Mit den resultierenden Simulationsdaten entwerfen wir zudem eine hierarchische visuomotorische Strategie für die Lokomotions-Manipulation humanoider Roboter. Umfangreiche Experimente am realen humanoiden Roboter zeigen, dass die mit unseren Simulationsdaten trainierte Strategie bei der Nullschuss-Anwendung auf den meisten Aufgaben eine höhere Erfolgsrate erzielt als die auf realen Teleoperationsdaten trainierte, was maßgeblich auf die breite Abdeckung von Beleuchtungs- und Umweltvariationen durch unsere Simulationsrendering zurückzuführen ist, die reale Roboterdaten nicht erfassen können. Die Projektseite ist verfügbar unter https://oasis-humanoid.github.io/.

English

Recent progress in robot manipulation has been largely driven by learning from large-scale demonstrations. For humanoid robot loco-manipulation tasks, however, existing data sources force an unsatisfying tradeoff between trajectory quality and scalability. Real-world teleoperation provides the highest-quality trajectories but requires dedicated physical space and time-consuming scene resets. Simulation offers an alternative way out of this dilemma: it can produce clean, embodiment-aligned data at scale without any physical hardware. In this paper, we propose OASIS, a simulation-data-driven framework for humanoid loco-manipulation. OASIS automatically reconstructs realistic object assets from real-world images using a 3D generative model. Based on these assets, trajectories are first collected through teleoperation in simulation, and then augmented under diverse domain randomizations in a post-processing stage. With the resulting simulation data, we further design a hierarchical visuomotor policy for humanoid loco-manipulation. Extensive experiments on the real humanoid robot show that, under zero-shot deployment, the policy trained on our simulation data achieves higher success rates on most tasks than that trained on real-robot teleoperation data, owing largely to the broad lighting and environmental variations covered by our simulation rendering, which real-robot data fails to capture. The project page is available at https://oasis-humanoid.github.io/.