Roboter-Tischtennis: Eine Fallstudie zu einem Hochgeschwindigkeits-Lernsystem

Robotic Table Tennis: A Case Study into a High Speed Learning System

September 6, 2023

Autoren: David B. D'Ambrosio, Jonathan Abelian, Saminda Abeyruwan, Michael Ahn, Alex Bewley, Justin Boyd, Krzysztof Choromanski, Omar Cortes, Erwin Coumans, Tianli Ding, Wenbo Gao, Laura Graesser, Atil Iscen, Navdeep Jaitly, Deepali Jain, Juhana Kangaspunta, Satoshi Kataoka, Gus Kouretas, Yuheng Kuang, Nevena Lazic, Corey Lynch, Reza Mahjourian, Sherry Q. Moore, Thinh Nguyen, Ken Oslund, Barney J Reed, Krista Reymann, Pannag R. Sanketi, Anish Shankar, Pierre Sermanet, Vikas Sindhwani, Avi Singh, Vincent Vanhoucke, Grace Vesom, Peng Xu

cs.AI

Zusammenfassung

Wir präsentieren eine detaillierte Analyse eines realen Robotik-Lernsystems, das in früheren Arbeiten gezeigt hat, dass es in der Lage ist, Hunderte von Tischtennis-Rallys mit einem Menschen zu spielen und den Ball präzise zu vorgegebenen Zielen zurückzuspielen. Dieses System kombiniert ein hochoptimiertes Wahrnehmungssubsystem, einen Hochgeschwindigkeits-Robotercontroller mit geringer Latenz, ein Simulationsparadigma, das Schäden in der realen Welt verhindern und gleichzeitig Richtlinien für den Null-Shot-Transfer trainieren kann, sowie automatisierte Resets der realen Umgebung, die autonomes Training und die Bewertung auf physischen Robotern ermöglichen. Wir ergänzen eine vollständige Systembeschreibung, einschließlich zahlreicher Designentscheidungen, die typischerweise nicht weit verbreitet sind, mit einer Sammlung von Studien, die die Bedeutung der Minderung verschiedener Latenzquellen, der Berücksichtigung von Verschiebungen zwischen Trainings- und Einsatzverteilungen, der Robustheit des Wahrnehmungssystems, der Empfindlichkeit gegenüber Richtlinien-Hyperparametern und der Wahl des Aktionsraums verdeutlichen. Ein Video, das die Komponenten des Systems und Details der experimentellen Ergebnisse zeigt, ist unter https://youtu.be/uFcnWjB42I0 zu finden.

English

We present a deep-dive into a real-world robotic learning system that, in previous work, was shown to be capable of hundreds of table tennis rallies with a human and has the ability to precisely return the ball to desired targets. This system puts together a highly optimized perception subsystem, a high-speed low-latency robot controller, a simulation paradigm that can prevent damage in the real world and also train policies for zero-shot transfer, and automated real world environment resets that enable autonomous training and evaluation on physical robots. We complement a complete system description, including numerous design decisions that are typically not widely disseminated, with a collection of studies that clarify the importance of mitigating various sources of latency, accounting for training and deployment distribution shifts, robustness of the perception system, sensitivity to policy hyper-parameters, and choice of action space. A video demonstrating the components of the system and details of experimental results can be found at https://youtu.be/uFcnWjB42I0.