人間レベルの競争力を持つ卓球ロボットの実現

Achieving Human Level Competitive Robot Table Tennis

August 7, 2024

著者: David B. D'Ambrosio, Saminda Abeyruwan, Laura Graesser, Atil Iscen, Heni Ben Amor, Alex Bewley, Barney J. Reed, Krista Reymann, Leila Takayama, Yuval Tassa, Krzysztof Choromanski, Erwin Coumans, Deepali Jain, Navdeep Jaitly, Natasha Jaques, Satoshi Kataoka, Yuheng Kuang, Nevena Lazic, Reza Mahjourian, Sherry Moore, Kenneth Oslund, Anish Shankar, Vikas Sindhwani, Vincent Vanhoucke, Grace Vesom, Peng Xu, Pannag R. Sanketi

cs.AI

要旨

現実世界のタスクにおいて人間並みの速度と性能を達成することは、ロボティクス研究コミュニティにとっての北極星である。本研究はその目標に向けて一歩を進め、競技卓球においてアマチュア人間並みの性能を達成する初めての学習済みロボットエージェントを提示する。卓球は身体的に要求の厳しいスポーツであり、人間プレイヤーは高度な熟練度を達成するために何年ものトレーニングを必要とする。本論文では、(1) エージェントの能力をモデル化しシミュレーションから現実へのギャップを埋める詳細なスキル記述子を持つ低レベルコントローラと、低レベルスキルを選択する高レベルコントローラからなる階層的でモジュール型のポリシーアーキテクチャ、(2) 現実世界に基づいたタスク分布の定義と自動カリキュラムを提供する反復的アプローチを含むゼロショットシミュレーションから現実への移行技術、(3) 未知の相手へのリアルタイム適応を貢献する。ポリシーの性能は29回のロボット対人間の試合を通じて評価され、ロボットは45%（13/29）の試合に勝利した。すべての人間プレイヤーは未知のプレイヤーであり、そのスキルレベルは初心者からトーナメントレベルまで様々であった。ロボットは最も上級者との試合ではすべて敗北したが、初心者との試合では100%、中級者との試合では55%の勝率を記録し、確固たるアマチュア人間並みの性能を示した。試合の動画はhttps://sites.google.com/view/competitive-robot-table-tennisで閲覧可能である。

English

Achieving human-level speed and performance on real world tasks is a north star for the robotics research community. This work takes a step towards that goal and presents the first learned robot agent that reaches amateur human-level performance in competitive table tennis. Table tennis is a physically demanding sport which requires human players to undergo years of training to achieve an advanced level of proficiency. In this paper, we contribute (1) a hierarchical and modular policy architecture consisting of (i) low level controllers with their detailed skill descriptors which model the agent's capabilities and help to bridge the sim-to-real gap and (ii) a high level controller that chooses the low level skills, (2) techniques for enabling zero-shot sim-to-real including an iterative approach to defining the task distribution that is grounded in the real-world and defines an automatic curriculum, and (3) real time adaptation to unseen opponents. Policy performance was assessed through 29 robot vs. human matches of which the robot won 45% (13/29). All humans were unseen players and their skill level varied from beginner to tournament level. Whilst the robot lost all matches vs. the most advanced players it won 100% matches vs. beginners and 55% matches vs. intermediate players, demonstrating solidly amateur human-level performance. Videos of the matches can be viewed at https://sites.google.com/view/competitive-robot-table-tennis