Atteindre un niveau compétitif humain en tennis de table robotisé

Achieving Human Level Competitive Robot Table Tennis

August 7, 2024

Auteurs: David B. D'Ambrosio, Saminda Abeyruwan, Laura Graesser, Atil Iscen, Heni Ben Amor, Alex Bewley, Barney J. Reed, Krista Reymann, Leila Takayama, Yuval Tassa, Krzysztof Choromanski, Erwin Coumans, Deepali Jain, Navdeep Jaitly, Natasha Jaques, Satoshi Kataoka, Yuheng Kuang, Nevena Lazic, Reza Mahjourian, Sherry Moore, Kenneth Oslund, Anish Shankar, Vikas Sindhwani, Vincent Vanhoucke, Grace Vesom, Peng Xu, Pannag R. Sanketi

cs.AI

Résumé

Atteindre une vitesse et des performances de niveau humain sur des tâches du monde réel constitue un objectif phare pour la communauté de recherche en robotique. Ce travail représente une étape vers cet objectif en présentant le premier agent robotique apprenant atteignant des performances de niveau amateur humain en tennis de table compétitif. Le tennis de table est un sport physiquement exigeant qui nécessite des années d'entraînement pour les joueurs humains afin d'atteindre un niveau avancé de maîtrise. Dans cet article, nous contribuons (1) une architecture de politique hiérarchique et modulaire comprenant (i) des contrôleurs de bas niveau avec leurs descripteurs de compétences détaillés qui modélisent les capacités de l'agent et aident à combler l'écart entre la simulation et la réalité, et (ii) un contrôleur de haut niveau qui sélectionne les compétences de bas niveau, (2) des techniques permettant un transfert sim-to-real sans adaptation, incluant une approche itérative pour définir la distribution des tâches ancrée dans le monde réel et établissant un curriculum automatique, et (3) une adaptation en temps réel à des adversaires inconnus. Les performances de la politique ont été évaluées à travers 29 matchs robot contre humain, dont le robot a remporté 45% (13/29). Tous les humains étaient des joueurs inconnus, et leur niveau de compétence variait de débutant à niveau tournoi. Bien que le robot ait perdu tous les matchs contre les joueurs les plus avancés, il a remporté 100% des matchs contre les débutants et 55% des matchs contre les joueurs intermédiaires, démontrant des performances solides de niveau amateur humain. Les vidéos des matchs peuvent être visionnées sur https://sites.google.com/view/competitive-robot-table-tennis.

English

Achieving human-level speed and performance on real world tasks is a north star for the robotics research community. This work takes a step towards that goal and presents the first learned robot agent that reaches amateur human-level performance in competitive table tennis. Table tennis is a physically demanding sport which requires human players to undergo years of training to achieve an advanced level of proficiency. In this paper, we contribute (1) a hierarchical and modular policy architecture consisting of (i) low level controllers with their detailed skill descriptors which model the agent's capabilities and help to bridge the sim-to-real gap and (ii) a high level controller that chooses the low level skills, (2) techniques for enabling zero-shot sim-to-real including an iterative approach to defining the task distribution that is grounded in the real-world and defines an automatic curriculum, and (3) real time adaptation to unseen opponents. Policy performance was assessed through 29 robot vs. human matches of which the robot won 45% (13/29). All humans were unseen players and their skill level varied from beginner to tournament level. Whilst the robot lost all matches vs. the most advanced players it won 100% matches vs. beginners and 55% matches vs. intermediate players, demonstrating solidly amateur human-level performance. Videos of the matches can be viewed at https://sites.google.com/view/competitive-robot-table-tennis