Play2Perfect : Qu’est-ce qui compte dans le pré-entraînement par jeu dextre pour un assemblage précis ?

Résumé

Les robots multi-doigts promettent la vitesse et la dextérité des mains humaines, mais des problèmes difficiles tels que l'assemblage de précision restent hors de portée. Ces tâches sont riches en contacts, ce qui rend la collecte de données pour l'apprentissage par imitation difficile, et les récompenses sont éparses, ce qui rend l'exploration directe par apprentissage par renforcement (RL) irréalisable. Par conséquent, les travaux antérieurs ont progressé en structurant le problème avec des pinces spécialisées, des accessoires d'outils et des dispositifs environnementaux. Dans ce travail, nous soutenons qu'avant qu'un robot ne puisse perfectionner l'assemblage de précision, il doit d'abord apprendre à jouer. Nous posons en outre la question suivante : quels facteurs dans le processus d'apprentissage du jeu sont importants pour l'assemblage de précision ? Nous proposons Play2Perfect, un cadre RL pour le pré-entraînement sans tâche spécifique via le jeu sur des objets et des objectifs variés, qui est ensuite perfectionné pour l'assemblage de précision. Le but du jeu est d'acquérir des prérequis de manipulation réutilisables, tels que la préhension, la réorientation dans la main et l'atteinte de poses. Le réglage fin adapte ensuite ces prérequis généraux à l'assemblage, en concentrant l'exploration sur les interactions finales riches en contacts et de haute précision nécessaires à la réussite. Nous étudions systématiquement les choix de conception clés dans le pré-entraînement par le jeu, notamment la diversité des objets, l'objectif d'entraînement, la diversité des trajectoires et la précision des objectifs. Nous montrons que notre prérequis est 33 fois plus efficace en termes d'échantillons que l'entraînement RL à partir de zéro, même en fournissant des récompenses denses à plusieurs étapes. Nous démontrons un transfert sim-to-real sans ajustement, atteignant 60 % de succès sur des insertions serrées avec seulement 0,5 mm de jeu de contact, et plus de 50 % de succès sur l'assemblage et le vissage multi-pièces à long terme.

English

Multi-fingered robots promise the speed and dexterity of human hands, yet challenging problems such as precise assembly have remained out of reach. These tasks are contact-rich, making data collection for imitation learning difficult, and sparse-reward, making direct exploration with reinforcement learning (RL) intractable. Consequently, prior work has made progress by structuring the problem with specialized grippers, tool attachments, and environment fixtures. In this work, we argue that before a robot can perfect precise assembly, it must first learn to play. We further ask the question: what factors in the process of learning to play matter for precise assembly? We propose Play2Perfect, an RL framework for task-agnostic pretraining through play on diverse objects and goals, which is then perfected on precise assembly. The goal of play is to acquire reusable manipulation priors, such as grasping, in-hand reorientation and pose reaching. Finetuning then adapts this general prior to assembly, focusing exploration on the final contact-rich, high-precision interactions needed for success. We systematically study key design choices in play pretraining, including object diversity, training objective, trajectory diversity, and goal precision. We show that our prior is 33x more sample-efficient than RL training from scratch, even when provided with dense, multi-stage rewards. We demonstrate zero-shot sim-to-real transfer, achieving 60% success on tight insertions with only 0.5 mm contact clearance, and over 50% success on long-horizon multi-part assembly and screwing.