Raggiungere Prestazioni Competitive a Livello Umano nel Tennis Tavolo Robotico
Achieving Human Level Competitive Robot Table Tennis
August 7, 2024
Autori: David B. D'Ambrosio, Saminda Abeyruwan, Laura Graesser, Atil Iscen, Heni Ben Amor, Alex Bewley, Barney J. Reed, Krista Reymann, Leila Takayama, Yuval Tassa, Krzysztof Choromanski, Erwin Coumans, Deepali Jain, Navdeep Jaitly, Natasha Jaques, Satoshi Kataoka, Yuheng Kuang, Nevena Lazic, Reza Mahjourian, Sherry Moore, Kenneth Oslund, Anish Shankar, Vikas Sindhwani, Vincent Vanhoucke, Grace Vesom, Peng Xu, Pannag R. Sanketi
cs.AI
Abstract
Raggiungere velocità e prestazioni di livello umano in compiti del mondo reale rappresenta una stella polare per la comunità di ricerca robotica. Questo lavoro compie un passo verso tale obiettivo e presenta il primo agente robotico appreso che raggiunge prestazioni di livello amatoriale umano nel ping pong competitivo. Il ping pong è uno sport fisicamente impegnativo che richiede ai giocatori umani anni di allenamento per raggiungere un livello avanzato di competenza. In questo articolo, contribuiamo con (1) un'architettura di policy gerarchica e modulare composta da (i) controller di basso livello con i loro descrittori di abilità dettagliati che modellano le capacità dell'agente e aiutano a colmare il divario sim-to-real e (ii) un controller di alto livello che sceglie le abilità di basso livello, (2) tecniche per abilitare il trasferimento sim-to-real zero-shot, inclusa un'approccio iterativo per definire la distribuzione dei compiti che è radicata nel mondo reale e definisce un curriculum automatico, e (3) adattamento in tempo reale a avversari mai visti. Le prestazioni della policy sono state valutate attraverso 29 partite robot vs. umano, di cui il robot ha vinto il 45% (13/29). Tutti gli umani erano giocatori mai visti e il loro livello di abilità variava da principiante a livello torneo. Mentre il robot ha perso tutte le partite contro i giocatori più avanzati, ha vinto il 100% delle partite contro i principianti e il 55% delle partite contro i giocatori intermedi, dimostrando prestazioni solide di livello amatoriale umano. I video delle partite possono essere visualizzati su https://sites.google.com/view/competitive-robot-table-tennis.
English
Achieving human-level speed and performance on real world tasks is a north
star for the robotics research community. This work takes a step towards that
goal and presents the first learned robot agent that reaches amateur
human-level performance in competitive table tennis. Table tennis is a
physically demanding sport which requires human players to undergo years of
training to achieve an advanced level of proficiency. In this paper, we
contribute (1) a hierarchical and modular policy architecture consisting of (i)
low level controllers with their detailed skill descriptors which model the
agent's capabilities and help to bridge the sim-to-real gap and (ii) a high
level controller that chooses the low level skills, (2) techniques for enabling
zero-shot sim-to-real including an iterative approach to defining the task
distribution that is grounded in the real-world and defines an automatic
curriculum, and (3) real time adaptation to unseen opponents. Policy
performance was assessed through 29 robot vs. human matches of which the robot
won 45% (13/29). All humans were unseen players and their skill level varied
from beginner to tournament level. Whilst the robot lost all matches vs. the
most advanced players it won 100% matches vs. beginners and 55% matches vs.
intermediate players, demonstrating solidly amateur human-level performance.
Videos of the matches can be viewed at
https://sites.google.com/view/competitive-robot-table-tennis