TWIST2: Sistema Escalável, Portátil e Holístico de Coleta de Dados para Humanoides

TWIST2: Scalable, Portable, and Holistic Humanoid Data Collection System

November 4, 2025

Autores: Yanjie Ze, Siheng Zhao, Weizhuo Wang, Angjoo Kanazawa, Rocky Duan, Pieter Abbeel, Guanya Shi, Jiajun Wu, C. Karen Liu

cs.AI

Resumo

Dados em larga escala têm impulsionado avanços na robótica, desde modelos de linguagem até modelos visão-linguagem-ação na manipulação bimanual. No entanto, a robótica humanóide carece de estruturas de coleta de dados igualmente eficazes. Os sistemas de teleoperação humanóide existentes utilizam controle desacoplado ou dependem de configurações caras de captura de movimento. Apresentamos o TWIST2, um sistema portátil e livre de mocap para teleoperação e coleta de dados de humanoides que preserva o controle integral do corpo enquanto avança a escalabilidade. Nosso sistema aproveita o PICO4U VR para obter movimentos humanos integrais em tempo real, com um pescoço robótico personalizado de 2 graus de liberdade (custo aproximado de US$ 250) para visão egocêntrica, permitindo um controle holístico de humano para humanoide. Demonstramos habilidades humanoides dextras e móveis de longo horizonte e podemos coletar 100 demonstrações em 15 minutos com uma taxa de sucesso de quase 100%. Com base neste pipeline, propomos uma estrutura de política visuomotora hierárquica que controla autônoma e integralmente o corpo humanoide com base na visão egocêntrica. Nossa política visuomotora demonstra com sucesso tarefas de manipulação ágil integral e chutes dinâmicos. Todo o sistema é totalmente reproduzível e de código aberto em https://yanjieze.com/TWIST2. Nosso conjunto de dados coletado também é de código aberto em https://twist-data.github.io.

English

Large-scale data has driven breakthroughs in robotics, from language models to vision-language-action models in bimanual manipulation. However, humanoid robotics lacks equally effective data collection frameworks. Existing humanoid teleoperation systems either use decoupled control or depend on expensive motion capture setups. We introduce TWIST2, a portable, mocap-free humanoid teleoperation and data collection system that preserves full whole-body control while advancing scalability. Our system leverages PICO4U VR for obtaining real-time whole-body human motions, with a custom 2-DoF robot neck (cost around $250) for egocentric vision, enabling holistic human-to-humanoid control. We demonstrate long-horizon dexterous and mobile humanoid skills and we can collect 100 demonstrations in 15 minutes with an almost 100% success rate. Building on this pipeline, we propose a hierarchical visuomotor policy framework that autonomously controls the full humanoid body based on egocentric vision. Our visuomotor policy successfully demonstrates whole-body dexterous manipulation and dynamic kicking tasks. The entire system is fully reproducible and open-sourced at https://yanjieze.com/TWIST2 . Our collected dataset is also open-sourced at https://twist-data.github.io .