TWIST2: Schaalbaar, draagbaar en holistisch systeem voor humanoïde gegevensverzameling

TWIST2: Scalable, Portable, and Holistic Humanoid Data Collection System

November 4, 2025

Auteurs: Yanjie Ze, Siheng Zhao, Weizhuo Wang, Angjoo Kanazawa, Rocky Duan, Pieter Abbeel, Guanya Shi, Jiajun Wu, C. Karen Liu

cs.AI

Samenvatting

Grootschalige data heeft doorbraken mogelijk gemaakt in de robotica, van taalmodel­len tot visie-taal-actiemodel­len voor bimanuele manipulatie. Humanoïde robotica beschikt echter niet over even effectieve raamwerken voor gegevensverzameling. Bestaande teleoperatiesystemen voor humanoïden gebruiken ofwel ontkoppelde besturing, of zijn afhankelijk van dure motion-capture-opstellingen. Wij introduceren TWIST2, een draagbaar, mocap-vrij teleoperatie- en gegevensverzamelingssysteem voor humanoïden dat volledige lichaamscontrole behoudt en tegelijkertijd de schaalbaarheid verbetert. Ons systeem maakt gebruik van PICO4U VR voor het verkrijgen van real-time lichaamsbewegingen van mensen, met een aangepaste 2-DoF robotnek (kosten ongeveer $250) voor egocentrisch zicht, wat holistische mens-naar-humanoïde besturing mogelijk maakt. Wij demonstreren behendige en mobiele humanoïde vaardigheden op lange termijn en kunnen 100 demonstraties verzamelen in 15 minuten met een slagingspercentage van bijna 100%. Op basis van deze pijplijn stellen wij een hiërarchisch raamwerk voor een visuomotorisch beleid voor dat autonoom het volledige humanoïde lichaam aanstuurt op basis van egocentrisch zicht. Ons visuomotorisch beleid demonstreert met succes behendige manipulatie met het hele lichaam en dynamische schoptaakjes. Het gehele systeem is volledig reproduceerbaar en open source beschikbaar op https://yanjieze.com/TWIST2. Onze verzamelde dataset is eveneens open source beschikbaar op https://twist-data.github.io.

English

Large-scale data has driven breakthroughs in robotics, from language models to vision-language-action models in bimanual manipulation. However, humanoid robotics lacks equally effective data collection frameworks. Existing humanoid teleoperation systems either use decoupled control or depend on expensive motion capture setups. We introduce TWIST2, a portable, mocap-free humanoid teleoperation and data collection system that preserves full whole-body control while advancing scalability. Our system leverages PICO4U VR for obtaining real-time whole-body human motions, with a custom 2-DoF robot neck (cost around $250) for egocentric vision, enabling holistic human-to-humanoid control. We demonstrate long-horizon dexterous and mobile humanoid skills and we can collect 100 demonstrations in 15 minutes with an almost 100% success rate. Building on this pipeline, we propose a hierarchical visuomotor policy framework that autonomously controls the full humanoid body based on egocentric vision. Our visuomotor policy successfully demonstrates whole-body dexterous manipulation and dynamic kicking tasks. The entire system is fully reproducible and open-sourced at https://yanjieze.com/TWIST2 . Our collected dataset is also open-sourced at https://twist-data.github.io .