Alcançando o Nível Competitivo Humano no Tênis de Mesa com Robôs

Achieving Human Level Competitive Robot Table Tennis

August 7, 2024

Autores: David B. D'Ambrosio, Saminda Abeyruwan, Laura Graesser, Atil Iscen, Heni Ben Amor, Alex Bewley, Barney J. Reed, Krista Reymann, Leila Takayama, Yuval Tassa, Krzysztof Choromanski, Erwin Coumans, Deepali Jain, Navdeep Jaitly, Natasha Jaques, Satoshi Kataoka, Yuheng Kuang, Nevena Lazic, Reza Mahjourian, Sherry Moore, Kenneth Oslund, Anish Shankar, Vikas Sindhwani, Vincent Vanhoucke, Grace Vesom, Peng Xu, Pannag R. Sanketi

cs.AI

Resumo

Alcançar a velocidade e desempenho equivalentes aos humanos em tarefas do mundo real é um objetivo para a comunidade de pesquisa em robótica. Este trabalho dá um passo em direção a esse objetivo e apresenta o primeiro agente robô aprendido que atinge um desempenho amador equivalente ao humano no tênis de mesa competitivo. O tênis de mesa é um esporte fisicamente exigente que requer que os jogadores humanos passem por anos de treinamento para alcançar um nível avançado de proficiência. Neste artigo, contribuímos com (1) uma arquitetura de política hierárquica e modular composta por (i) controladores de baixo nível com seus descritores detalhados de habilidades que modelam as capacidades do agente e ajudam a preencher a lacuna entre simulação e realidade e (ii) um controlador de alto nível que escolhe as habilidades de baixo nível, (2) técnicas para permitir a transferência de simulação para o mundo real, incluindo uma abordagem iterativa para definir a distribuição de tarefas que está fundamentada no mundo real e define um currículo automático, e (3) adaptação em tempo real a oponentes não vistos. O desempenho da política foi avaliado por meio de 29 partidas de robô contra humano, das quais o robô venceu 45% (13/29). Todos os humanos eram jogadores não vistos e seu nível de habilidade variava de iniciante a nível de torneio. Embora o robô tenha perdido todas as partidas contra os jogadores mais avançados, ele venceu 100% das partidas contra iniciantes e 55% das partidas contra jogadores intermediários, demonstrando um desempenho sólido equivalente ao amador humano. Os vídeos das partidas podem ser visualizados em https://sites.google.com/view/competitive-robot-table-tennis

English

Achieving human-level speed and performance on real world tasks is a north star for the robotics research community. This work takes a step towards that goal and presents the first learned robot agent that reaches amateur human-level performance in competitive table tennis. Table tennis is a physically demanding sport which requires human players to undergo years of training to achieve an advanced level of proficiency. In this paper, we contribute (1) a hierarchical and modular policy architecture consisting of (i) low level controllers with their detailed skill descriptors which model the agent's capabilities and help to bridge the sim-to-real gap and (ii) a high level controller that chooses the low level skills, (2) techniques for enabling zero-shot sim-to-real including an iterative approach to defining the task distribution that is grounded in the real-world and defines an automatic curriculum, and (3) real time adaptation to unseen opponents. Policy performance was assessed through 29 robot vs. human matches of which the robot won 45% (13/29). All humans were unseen players and their skill level varied from beginner to tournament level. Whilst the robot lost all matches vs. the most advanced players it won 100% matches vs. beginners and 55% matches vs. intermediate players, demonstrating solidly amateur human-level performance. Videos of the matches can be viewed at https://sites.google.com/view/competitive-robot-table-tennis