DexTrack：巧緻な操作のための汎用性のあるニューラルトラッキング制御に向けて、人間のリファレンスから

DexTrack: Towards Generalizable Neural Tracking Control for Dexterous Manipulation from Human References

February 13, 2025

著者: Xueyi Liu, Jianibieke Adalibieke, Qianwei Han, Yuzhe Qin, Li Yi

cs.AI

要旨

我々は、人間の参照から器用な操作のための汎化可能なニューラルトラッキングコントローラーの開発の課題に取り組んでいます。このコントローラーは、器用なロボットハンドを様々な目的のために様々な物体を操作することを目指しています。この目的は、運動学的な人間-物体の相互作用によって定義されます。このようなコントローラーの開発は、器用な操作の複雑な接触ダイナミクスと適応性、汎化性、堅牢性の必要性によって複雑化されています。現在の強化学習や軌道最適化手法は、しばしば、タスク固有の報酬や正確なシステムモデルへの依存からうまくいかないことがあります。私たちは、大規模な成功したロボットトラッキングデモを収集し、人間の参照とロボットのアクションのペアからニューラルコントローラーを訓練するアプローチを導入します。データフライホイールを活用して、コントローラーのパフォーマンスと成功したトラッキングデモの数と品質を反復的に向上させます。利用可能なトラッキングデモを活用し、強化学習と模倣学習を慎重に統合して、コントローラーのパフォーマンスをダイナミックな環境で向上させます。同時に、高品質なトラッキングデモを得るために、学習されたトラッキングコントローラーをホモトピー最適化手法で個別に最適化することで、軌道ごとのトラッキングを最適化します。ホモトピー最適化は、考えの連鎖を模倣し、挑戦的な軌道追跡問題を解決するのに役立ち、デモの多様性を増やします。私たちは、汎化可能なニューラルコントローラーを訓練し、シミュレーションと実世界の両方で評価することで成功を示しています。当社の手法は、主要なベースラインと比較して成功率が10%以上向上しています。アニメーション結果を掲載したプロジェクトのウェブサイトは、https://meowuu7.github.io/DexTrack/ でご覧いただけます。

English

We address the challenge of developing a generalizable neural tracking controller for dexterous manipulation from human references. This controller aims to manage a dexterous robot hand to manipulate diverse objects for various purposes defined by kinematic human-object interactions. Developing such a controller is complicated by the intricate contact dynamics of dexterous manipulation and the need for adaptivity, generalizability, and robustness. Current reinforcement learning and trajectory optimization methods often fall short due to their dependence on task-specific rewards or precise system models. We introduce an approach that curates large-scale successful robot tracking demonstrations, comprising pairs of human references and robot actions, to train a neural controller. Utilizing a data flywheel, we iteratively enhance the controller's performance, as well as the number and quality of successful tracking demonstrations. We exploit available tracking demonstrations and carefully integrate reinforcement learning and imitation learning to boost the controller's performance in dynamic environments. At the same time, to obtain high-quality tracking demonstrations, we individually optimize per-trajectory tracking by leveraging the learned tracking controller in a homotopy optimization method. The homotopy optimization, mimicking chain-of-thought, aids in solving challenging trajectory tracking problems to increase demonstration diversity. We showcase our success by training a generalizable neural controller and evaluating it in both simulation and real world. Our method achieves over a 10% improvement in success rates compared to leading baselines. The project website with animated results is available at https://meowuu7.github.io/DexTrack/.