Play2Perfect: Was beim geschickten Spiel-Vortraining für die präzise Montage wichtig ist?

Zusammenfassung

Mehrfingrige Roboter versprechen die Geschwindigkeit und Geschicklichkeit menschlicher Hände, doch herausfordernde Aufgaben wie präzise Montage blieben bisher unerreichbar. Diese Aufgaben sind kontaktintensiv, was die Datenerhebung für Imitation Learning erschwert, und spärlich belohnt, was direkte Exploration mit Reinforcement Learning (RL) undurchführbar macht. Daher haben frühere Arbeiten Fortschritte erzielt, indem sie das Problem mit spezialisierten Greifern, Werkzeugaufsätzen und Umgebungseinbauten strukturierten. In dieser Arbeit argumentieren wir, dass ein Roboter, bevor er die präzise Montage perfektionieren kann, zuerst das Spielen lernen muss. Wir stellen weiterhin die Frage: Welche Faktoren im Prozess des Spielenlernens sind für die präzise Montage relevant? Wir schlagen Play2Perfect vor, ein RL-Framework für aufgabenunabhängiges Vortraining durch Spielen mit verschiedenen Objekten und Zielen, das dann auf präzise Montage verfeinert wird. Das Ziel des Spielens ist der Erwerb wiederverwendbarer Manipulations-Priors, wie Greifen, Umgreifen in der Hand und Erreichen von Posen. Das Feintuning passt diesen allgemeinen Prior dann an die Montage an und konzentriert die Exploration auf die finalen kontaktintensiven, hochpräzisen Interaktionen, die für den Erfolg notwendig sind. Wir untersuchen systematisch zentrale Designentscheidungen beim Spiel-Vortraining, darunter Objektvielfalt, Trainingsziel, Trajektorienvielfalt und Zielgenauigkeit. Wir zeigen, dass unser Prior 33-mal probeneffizienter ist als RL-Training von Grund auf, selbst wenn dichte, mehrstufige Belohnungen bereitgestellt werden. Wir demonstrieren einen Sim-to-Real-Transfer ohne Feinabstimmung, der bei engen Einfügungen mit nur 0,5 mm Fügespiel eine Erfolgsquote von 60% und bei mehrteiligen Montagen über einen langen Zeithorizont sowie Schraubvorgängen über 50% erreicht.

English

Multi-fingered robots promise the speed and dexterity of human hands, yet challenging problems such as precise assembly have remained out of reach. These tasks are contact-rich, making data collection for imitation learning difficult, and sparse-reward, making direct exploration with reinforcement learning (RL) intractable. Consequently, prior work has made progress by structuring the problem with specialized grippers, tool attachments, and environment fixtures. In this work, we argue that before a robot can perfect precise assembly, it must first learn to play. We further ask the question: what factors in the process of learning to play matter for precise assembly? We propose Play2Perfect, an RL framework for task-agnostic pretraining through play on diverse objects and goals, which is then perfected on precise assembly. The goal of play is to acquire reusable manipulation priors, such as grasping, in-hand reorientation and pose reaching. Finetuning then adapts this general prior to assembly, focusing exploration on the final contact-rich, high-precision interactions needed for success. We systematically study key design choices in play pretraining, including object diversity, training objective, trajectory diversity, and goal precision. We show that our prior is 33x more sample-efficient than RL training from scratch, even when provided with dense, multi-stage rewards. We demonstrate zero-shot sim-to-real transfer, achieving 60% success on tight insertions with only 0.5 mm contact clearance, and over 50% success on long-horizon multi-part assembly and screwing.