Erreichen eines wettbewerbsfähigen Roboters im Tischtennis auf menschlichem Niveau.

Achieving Human Level Competitive Robot Table Tennis

August 7, 2024

Autoren: David B. D'Ambrosio, Saminda Abeyruwan, Laura Graesser, Atil Iscen, Heni Ben Amor, Alex Bewley, Barney J. Reed, Krista Reymann, Leila Takayama, Yuval Tassa, Krzysztof Choromanski, Erwin Coumans, Deepali Jain, Navdeep Jaitly, Natasha Jaques, Satoshi Kataoka, Yuheng Kuang, Nevena Lazic, Reza Mahjourian, Sherry Moore, Kenneth Oslund, Anish Shankar, Vikas Sindhwani, Vincent Vanhoucke, Grace Vesom, Peng Xu, Pannag R. Sanketi

cs.AI

Zusammenfassung

Das Erreichen von Geschwindigkeit und Leistung auf menschlichem Niveau bei realen Aufgaben ist ein Leitstern für die Robotik-Forschungsgemeinschaft. Diese Arbeit geht einen Schritt in Richtung dieses Ziels und präsentiert den ersten erlernten Roboter-Agenten, der eine Amateurleistung auf menschlichem Niveau im wettbewerbsfähigen Tischtennis erreicht. Tischtennis ist ein körperlich anspruchsvoller Sport, der von menschlichen Spielern jahrelanges Training erfordert, um ein fortgeschrittenes Maß an Können zu erreichen. In diesem Papier tragen wir (1) eine hierarchische und modulare Richtlinienarchitektur bei, bestehend aus (i) Niedrigniveau-Controllern mit ihren detaillierten Fähigkeitsbeschreibungen, die die Fähigkeiten des Agenten modellieren und helfen, die Sim-zu-Real-Lücke zu überbrücken, und (ii) einem Hochlevel-Controller, der die Niedrigniveau-Fähigkeiten auswählt, (2) Techniken zur Ermöglichung von Null-Schuss-Sim-zu-Real, einschließlich eines iterativen Ansatzes zur Definition der Aufgabenverteilung, der auf der realen Welt basiert und einen automatischen Lehrplan definiert, und (3) Echtzeit-Anpassung an unbekannte Gegner. Die Leistung der Richtlinie wurde durch 29 Roboter gegen menschliche Spiele bewertet, von denen der Roboter 45% (13/29) gewann. Alle Menschen waren unbekannte Spieler, und ihr Können variierte von Anfänger- bis Turnierniveau. Während der Roboter alle Spiele gegen die fortgeschrittensten Spieler verlor, gewann er 100% der Spiele gegen Anfänger und 55% der Spiele gegen mittelstufe Spieler, was eine solide Amateurleistung auf menschlichem Niveau zeigt. Videos der Spiele können unter https://sites.google.com/view/competitive-robot-table-tennis angesehen werden.

English

Achieving human-level speed and performance on real world tasks is a north star for the robotics research community. This work takes a step towards that goal and presents the first learned robot agent that reaches amateur human-level performance in competitive table tennis. Table tennis is a physically demanding sport which requires human players to undergo years of training to achieve an advanced level of proficiency. In this paper, we contribute (1) a hierarchical and modular policy architecture consisting of (i) low level controllers with their detailed skill descriptors which model the agent's capabilities and help to bridge the sim-to-real gap and (ii) a high level controller that chooses the low level skills, (2) techniques for enabling zero-shot sim-to-real including an iterative approach to defining the task distribution that is grounded in the real-world and defines an automatic curriculum, and (3) real time adaptation to unseen opponents. Policy performance was assessed through 29 robot vs. human matches of which the robot won 45% (13/29). All humans were unseen players and their skill level varied from beginner to tournament level. Whilst the robot lost all matches vs. the most advanced players it won 100% matches vs. beginners and 55% matches vs. intermediate players, demonstrating solidly amateur human-level performance. Videos of the matches can be viewed at https://sites.google.com/view/competitive-robot-table-tennis