TWIST2：スケーラブルでポータブル、かつ包括的なヒューマノイドデータ収集システム

TWIST2: Scalable, Portable, and Holistic Humanoid Data Collection System

November 4, 2025

著者: Yanjie Ze, Siheng Zhao, Weizhuo Wang, Angjoo Kanazawa, Rocky Duan, Pieter Abbeel, Guanya Shi, Jiajun Wu, C. Karen Liu

cs.AI

要旨

大規模データは、言語モデルから両手操作における視覚言語行動モデルに至るまで、ロボティクスの分野に飛躍的進歩をもたらしてきた。しかし、ヒューマノイドロボティクスには、同等に効果的なデータ収集フレームワークが不足している。既存のヒューマノイド遠隔操作システムは、非連携型の制御を採用するか、高価なモーションキャプチャ設定に依存している。本研究では、完全な全身制御を維持しつつ拡張性を高めた、携帯可能でモーションキャプチャ不要のヒューマノイド遠隔操作・データ収集システム「TWIST2」を提案する。本システムはPICO4U VRを活用してリアルタイムの人体全身動作を取得し、エゴセントリック視覚のためのカスタム2自由度ロボット首（コスト約250ドル）を組み合わせることで、人間からヒューマノイドへの包括的制御を実現する。我々は長期的で精巧な移動ヒューマノイド技能を実証し、ほぼ100%の成功率で15分間に100回の実演データを収集できる。このパイプラインに基づき、エゴセントリック視覚に基づいてヒューマノイド全身を自律制御する階層型視覚運動ポリシーフレームワークを提案する。当該視覚運動ポリシーは、全身を用いた精密把持動作および動的キック動作のタスクを成功裏に実証した。システム全体は完全に再現可能であり、https://yanjieze.com/TWIST2 でオープンソース化されている。収集したデータセットも https://twist-data.github.io で公開している。

English

Large-scale data has driven breakthroughs in robotics, from language models to vision-language-action models in bimanual manipulation. However, humanoid robotics lacks equally effective data collection frameworks. Existing humanoid teleoperation systems either use decoupled control or depend on expensive motion capture setups. We introduce TWIST2, a portable, mocap-free humanoid teleoperation and data collection system that preserves full whole-body control while advancing scalability. Our system leverages PICO4U VR for obtaining real-time whole-body human motions, with a custom 2-DoF robot neck (cost around $250) for egocentric vision, enabling holistic human-to-humanoid control. We demonstrate long-horizon dexterous and mobile humanoid skills and we can collect 100 demonstrations in 15 minutes with an almost 100% success rate. Building on this pipeline, we propose a hierarchical visuomotor policy framework that autonomously controls the full humanoid body based on egocentric vision. Our visuomotor policy successfully demonstrates whole-body dexterous manipulation and dynamic kicking tasks. The entire system is fully reproducible and open-sourced at https://yanjieze.com/TWIST2 . Our collected dataset is also open-sourced at https://twist-data.github.io .