인간 수준의 경쟁력을 갖춘 로봇 탁구 달성

Achieving Human Level Competitive Robot Table Tennis

August 7, 2024

저자: David B. D'Ambrosio, Saminda Abeyruwan, Laura Graesser, Atil Iscen, Heni Ben Amor, Alex Bewley, Barney J. Reed, Krista Reymann, Leila Takayama, Yuval Tassa, Krzysztof Choromanski, Erwin Coumans, Deepali Jain, Navdeep Jaitly, Natasha Jaques, Satoshi Kataoka, Yuheng Kuang, Nevena Lazic, Reza Mahjourian, Sherry Moore, Kenneth Oslund, Anish Shankar, Vikas Sindhwani, Vincent Vanhoucke, Grace Vesom, Peng Xu, Pannag R. Sanketi

cs.AI

초록

로봇 공학 연구 커뮤니티에 있어서 인간 수준의 속도와 성능을 달성하는 것은 목표로 삼는 중심 별이다. 본 연구는 그 목표에 한 발짝 더 나아가, 경쟁적인 탁구에서 아마추어 수준의 인간과 동등한 성능에 이르는 최초의 학습된 로봇 에이전트를 제시한다. 탁구는 인간 선수들이 숙련된 수준을 달성하기 위해 몇 년간의 훈련을 거쳐야 하는 신체적으로 요구되는 스포츠이다. 본 논문에서는 (1) 에이전트의 능력을 모델링하고 시뮬레이션과 현실 간의 간극을 줄이는 데 도움이 되는 상세한 기술 설명을 갖춘 저수준 컨트롤러와 (ii) 저수준 기술을 선택하는 고수준 컨트롤러로 이루어진 계층적이고 모듈식 정책 아키텍처, (2) 과업 분배를 정의하는 반복적 접근을 포함한 시뮬레이션과 현실 간의 영(0)-샷을 가능하게 하는 기술, 그리고 현지적이며 자동 교육과정을 정의하는 기술, (3) 보이지 않는 상대에 대한 실시간 적응 기법을 기여한다. 정책 성능은 29번의 로봇 대 인간 경기를 통해 평가되었으며 로봇은 그 중 45% (13/29)를 이겼다. 모든 인간은 보이지 않는 선수들로, 그들의 실력 수준은 초보부터 대회 수준까지 다양했다. 로봇은 가장 숙련된 선수에게 모든 경기에서 패배했지만 초보자에 대해서는 100%의 승리를 거두었으며 중급자에 대해서는 55%의 승리를 거두었으며, 견고한 아마추어 수준의 인간 수준 성능을 보여주었다. 경기 영상은 https://sites.google.com/view/competitive-robot-table-tennis에서 확인할 수 있다.

English

Achieving human-level speed and performance on real world tasks is a north star for the robotics research community. This work takes a step towards that goal and presents the first learned robot agent that reaches amateur human-level performance in competitive table tennis. Table tennis is a physically demanding sport which requires human players to undergo years of training to achieve an advanced level of proficiency. In this paper, we contribute (1) a hierarchical and modular policy architecture consisting of (i) low level controllers with their detailed skill descriptors which model the agent's capabilities and help to bridge the sim-to-real gap and (ii) a high level controller that chooses the low level skills, (2) techniques for enabling zero-shot sim-to-real including an iterative approach to defining the task distribution that is grounded in the real-world and defines an automatic curriculum, and (3) real time adaptation to unseen opponents. Policy performance was assessed through 29 robot vs. human matches of which the robot won 45% (13/29). All humans were unseen players and their skill level varied from beginner to tournament level. Whilst the robot lost all matches vs. the most advanced players it won 100% matches vs. beginners and 55% matches vs. intermediate players, demonstrating solidly amateur human-level performance. Videos of the matches can be viewed at https://sites.google.com/view/competitive-robot-table-tennis