TWIST2 : Système de collecte de données humanoïdes évolutif, portable et holistique

papers.abstract

Les données à grande échelle ont permis des avancées majeures en robotique, des modèles de langage aux modèles vision-langage-action pour la manipulation bimanuelle. Cependant, la robotique humanoïde souffre d'un manque de cadres de collecte de données aussi efficaces. Les systèmes de téléopération humanoïde existants utilisent soit un contrôle découplé, soit dépendent de configurations coûteuses de capture de mouvement. Nous présentons TWIST2, un système portable et sans mocap de téléopération et de collecte de données pour humanoïdes qui préserve un contrôle complet du corps tout en améliorant l'évolutivité. Notre système utilise PICO4U VR pour obtenir les mouvements humains du corps entier en temps réel, avec un cou robotisé personnalisé à 2 degrés de liberté (coût d'environ 250 $) pour la vision égocentrique, permettant un contrôle holistique de l'humain à l'humanoïde. Nous démontrons des compétences humanoïdes dextres et mobiles sur de long horizons temporels et pouvons collecter 100 démonstrations en 15 minutes avec un taux de réussite proche de 100 %. S'appuyant sur cette infrastructure, nous proposons un cadre de politique visuomotrice hiérarchique qui contrôle autonome-ment le corps humanoïde complet sur la base de la vision égocentrique. Notre politique visuomotrice démontre avec succès des tâches de manipulation dextre du corps entier et de coup de pied dynamique. L'ensemble du système est entièrement reproductible et open-source à l'adresse https://yanjieze.com/TWIST2. Notre jeu de données collecté est également open-source à l'adresse https://twist-data.github.io.

English

Large-scale data has driven breakthroughs in robotics, from language models to vision-language-action models in bimanual manipulation. However, humanoid robotics lacks equally effective data collection frameworks. Existing humanoid teleoperation systems either use decoupled control or depend on expensive motion capture setups. We introduce TWIST2, a portable, mocap-free humanoid teleoperation and data collection system that preserves full whole-body control while advancing scalability. Our system leverages PICO4U VR for obtaining real-time whole-body human motions, with a custom 2-DoF robot neck (cost around $250) for egocentric vision, enabling holistic human-to-humanoid control. We demonstrate long-horizon dexterous and mobile humanoid skills and we can collect 100 demonstrations in 15 minutes with an almost 100% success rate. Building on this pipeline, we propose a hierarchical visuomotor policy framework that autonomously controls the full humanoid body based on egocentric vision. Our visuomotor policy successfully demonstrates whole-body dexterous manipulation and dynamic kicking tasks. The entire system is fully reproducible and open-sourced at https://yanjieze.com/TWIST2 . Our collected dataset is also open-sourced at https://twist-data.github.io .

TWIST2 : Système de collecte de données humanoïdes évolutif, portable et holistique

TWIST2: Scalable, Portable, and Holistic Humanoid Data Collection System

papers.abstract

Support