Достижение уровня конкурентоспособности роботов в настольном теннисе на уровне человека

Achieving Human Level Competitive Robot Table Tennis

August 7, 2024

Авторы: David B. D'Ambrosio, Saminda Abeyruwan, Laura Graesser, Atil Iscen, Heni Ben Amor, Alex Bewley, Barney J. Reed, Krista Reymann, Leila Takayama, Yuval Tassa, Krzysztof Choromanski, Erwin Coumans, Deepali Jain, Navdeep Jaitly, Natasha Jaques, Satoshi Kataoka, Yuheng Kuang, Nevena Lazic, Reza Mahjourian, Sherry Moore, Kenneth Oslund, Anish Shankar, Vikas Sindhwani, Vincent Vanhoucke, Grace Vesom, Peng Xu, Pannag R. Sanketi

cs.AI

Аннотация

Достижение скорости и производительности на уровне человека в реальных задачах является целью для исследовательского сообщества робототехники. Эта работа делает шаг в направлении этой цели и представляет первого обученного робота-агента, достигающего уровня профессионального человека в соревновательном настольном теннисе. Настольный теннис - это физически сложный вид спорта, который требует от человеческих игроков многолетней тренировки для достижения высокого уровня мастерства. В данной статье мы представляем (1) иерархическую и модульную архитектуру политики, состоящую из (i) контроллеров низкого уровня с их подробными описаниями навыков, которые моделируют возможности агента и помогают сократить разрыв между симуляцией и реальностью, и (ii) контроллер высокого уровня, который выбирает навыки низкого уровня, (2) техники для обеспечения переноса из симуляции в реальность без обучения, включая итеративный подход к определению распределения задач, основанный на реальном мире и определяющий автоматический учебный план, и (3) адаптацию в реальном времени к незнакомым противникам. Производительность политики была оценена через 29 матчей робота против человека, из которых робот выиграл 45% (13 из 29). Все люди были незнакомыми игроками, и их уровень мастерства варьировался от начинающих до уровня турнира. Хотя робот проиграл все матчи против самых опытных игроков, он выиграл 100% матчей против начинающих и 55% матчей против игроков среднего уровня, демонстрируя прочное профессиональное человеческое мастерство. Видеозаписи матчей можно посмотреть на сайте https://sites.google.com/view/competitive-robot-table-tennis

English

Achieving human-level speed and performance on real world tasks is a north star for the robotics research community. This work takes a step towards that goal and presents the first learned robot agent that reaches amateur human-level performance in competitive table tennis. Table tennis is a physically demanding sport which requires human players to undergo years of training to achieve an advanced level of proficiency. In this paper, we contribute (1) a hierarchical and modular policy architecture consisting of (i) low level controllers with their detailed skill descriptors which model the agent's capabilities and help to bridge the sim-to-real gap and (ii) a high level controller that chooses the low level skills, (2) techniques for enabling zero-shot sim-to-real including an iterative approach to defining the task distribution that is grounded in the real-world and defines an automatic curriculum, and (3) real time adaptation to unseen opponents. Policy performance was assessed through 29 robot vs. human matches of which the robot won 45% (13/29). All humans were unseen players and their skill level varied from beginner to tournament level. Whilst the robot lost all matches vs. the most advanced players it won 100% matches vs. beginners and 55% matches vs. intermediate players, demonstrating solidly amateur human-level performance. Videos of the matches can be viewed at https://sites.google.com/view/competitive-robot-table-tennis