Logrando un Nivel Humano Competitivo en Tenis de Mesa con Robots

Achieving Human Level Competitive Robot Table Tennis

August 7, 2024

Autores: David B. D'Ambrosio, Saminda Abeyruwan, Laura Graesser, Atil Iscen, Heni Ben Amor, Alex Bewley, Barney J. Reed, Krista Reymann, Leila Takayama, Yuval Tassa, Krzysztof Choromanski, Erwin Coumans, Deepali Jain, Navdeep Jaitly, Natasha Jaques, Satoshi Kataoka, Yuheng Kuang, Nevena Lazic, Reza Mahjourian, Sherry Moore, Kenneth Oslund, Anish Shankar, Vikas Sindhwani, Vincent Vanhoucke, Grace Vesom, Peng Xu, Pannag R. Sanketi

cs.AI

Resumen

Lograr la velocidad y el rendimiento a nivel humano en tareas del mundo real es un faro para la comunidad de investigación en robótica. Este trabajo da un paso hacia ese objetivo y presenta el primer agente robot aprendido que alcanza un rendimiento a nivel humano amateur en tenis de mesa competitivo. El tenis de mesa es un deporte físicamente exigente que requiere que los jugadores humanos pasen años de entrenamiento para alcanzar un nivel avanzado de destreza. En este documento, contribuimos con (1) una arquitectura de política jerárquica y modular que consiste en (i) controladores de bajo nivel con sus descriptores detallados de habilidades que modelan las capacidades del agente y ayudan a cerrar la brecha entre simulación y realidad y (ii) un controlador de alto nivel que elige las habilidades de bajo nivel, (2) técnicas para habilitar la transferencia de simulación a realidad sin entrenamiento previo, incluido un enfoque iterativo para definir la distribución de tareas que se basa en el mundo real y define un currículo automático, y (3) adaptación en tiempo real a oponentes no vistos. El rendimiento de la política se evaluó a través de 29 partidos de robot contra humano, de los cuales el robot ganó el 45% (13/29). Todos los humanos eran jugadores no vistos y su nivel de habilidad variaba desde principiante hasta nivel de torneo. Mientras que el robot perdió todos los partidos contra los jugadores más avanzados, ganó el 100% de los partidos contra principiantes y el 55% de los partidos contra jugadores intermedios, demostrando un rendimiento sólidamente amateur a nivel humano. Los videos de los partidos se pueden ver en https://sites.google.com/view/competitive-robot-table-tennis

English

Achieving human-level speed and performance on real world tasks is a north star for the robotics research community. This work takes a step towards that goal and presents the first learned robot agent that reaches amateur human-level performance in competitive table tennis. Table tennis is a physically demanding sport which requires human players to undergo years of training to achieve an advanced level of proficiency. In this paper, we contribute (1) a hierarchical and modular policy architecture consisting of (i) low level controllers with their detailed skill descriptors which model the agent's capabilities and help to bridge the sim-to-real gap and (ii) a high level controller that chooses the low level skills, (2) techniques for enabling zero-shot sim-to-real including an iterative approach to defining the task distribution that is grounded in the real-world and defines an automatic curriculum, and (3) real time adaptation to unseen opponents. Policy performance was assessed through 29 robot vs. human matches of which the robot won 45% (13/29). All humans were unseen players and their skill level varied from beginner to tournament level. Whilst the robot lost all matches vs. the most advanced players it won 100% matches vs. beginners and 55% matches vs. intermediate players, demonstrating solidly amateur human-level performance. Videos of the matches can be viewed at https://sites.google.com/view/competitive-robot-table-tennis