Het bereiken van menselijk niveau in competitief robottafeltennis
Achieving Human Level Competitive Robot Table Tennis
August 7, 2024
Auteurs: David B. D'Ambrosio, Saminda Abeyruwan, Laura Graesser, Atil Iscen, Heni Ben Amor, Alex Bewley, Barney J. Reed, Krista Reymann, Leila Takayama, Yuval Tassa, Krzysztof Choromanski, Erwin Coumans, Deepali Jain, Navdeep Jaitly, Natasha Jaques, Satoshi Kataoka, Yuheng Kuang, Nevena Lazic, Reza Mahjourian, Sherry Moore, Kenneth Oslund, Anish Shankar, Vikas Sindhwani, Vincent Vanhoucke, Grace Vesom, Peng Xu, Pannag R. Sanketi
cs.AI
Samenvatting
Het bereiken van menselijke snelheid en prestaties bij taken in de echte wereld is een belangrijk streven voor de robotica-onderzoeksgemeenschap. Dit werk zet een stap in die richting en presenteert de eerste geleerde robotagent die amateurniveau menselijke prestaties bereikt in competitief tafeltennis. Tafeltennis is een fysiek veeleisende sport waarbij menselijke spelers jarenlang training nodig hebben om een gevorderd niveau van vaardigheid te bereiken. In dit artikel dragen we bij met (1) een hiërarchische en modulaire beleidsarchitectuur bestaande uit (i) laagniveau controllers met gedetailleerde vaardigheidsbeschrijvingen die de mogelijkheden van de agent modelleren en helpen de kloof tussen simulatie en realiteit te overbruggen, en (ii) een hoog niveau controller die de laagniveau vaardigheden kiest, (2) technieken voor het mogelijk maken van zero-shot sim-to-real, waaronder een iteratieve benadering voor het definiëren van de taakverdeling die is verankerd in de echte wereld en een automatisch curriculum definieert, en (3) real-time aanpassing aan onbekende tegenstanders. De beleidsprestaties werden beoordeeld via 29 robot versus mens wedstrijden, waarvan de robot 45% (13/29) won. Alle menselijke spelers waren onbekende spelers en hun vaardigheidsniveau varieerde van beginner tot toernooiniveau. Hoewel de robot alle wedstrijden verloor tegen de meest gevorderde spelers, won hij 100% van de wedstrijden tegen beginners en 55% van de wedstrijden tegen middelmatige spelers, wat solide amateurniveau menselijke prestaties aantoont. Video's van de wedstrijden zijn te bekijken op https://sites.google.com/view/competitive-robot-table-tennis.
English
Achieving human-level speed and performance on real world tasks is a north
star for the robotics research community. This work takes a step towards that
goal and presents the first learned robot agent that reaches amateur
human-level performance in competitive table tennis. Table tennis is a
physically demanding sport which requires human players to undergo years of
training to achieve an advanced level of proficiency. In this paper, we
contribute (1) a hierarchical and modular policy architecture consisting of (i)
low level controllers with their detailed skill descriptors which model the
agent's capabilities and help to bridge the sim-to-real gap and (ii) a high
level controller that chooses the low level skills, (2) techniques for enabling
zero-shot sim-to-real including an iterative approach to defining the task
distribution that is grounded in the real-world and defines an automatic
curriculum, and (3) real time adaptation to unseen opponents. Policy
performance was assessed through 29 robot vs. human matches of which the robot
won 45% (13/29). All humans were unseen players and their skill level varied
from beginner to tournament level. Whilst the robot lost all matches vs. the
most advanced players it won 100% matches vs. beginners and 55% matches vs.
intermediate players, demonstrating solidly amateur human-level performance.
Videos of the matches can be viewed at
https://sites.google.com/view/competitive-robot-table-tennis