Play2Perfect: ¿Qué importa en el preentrenamiento de juego diestro para el ensamblaje preciso?

Resumen

Los robots con múltiples dedos prometen la velocidad y destreza de las manos humanas, sin embargo, problemas desafiantes como el ensamblaje de precisión han permanecido fuera de alcance. Estas tareas son ricas en contacto, lo que dificulta la recolección de datos para el aprendizaje por imitación, y poseen recompensas dispersas, lo que hace que la exploración directa mediante aprendizaje por refuerzo (RL) sea intratable. En consecuencia, trabajos previos han logrado avances estructurando el problema con garras especializadas, accesorios de herramientas y fijaciones ambientales. En este trabajo, argumentamos que antes de que un robot pueda perfeccionar el ensamblaje de precisión, primero debe aprender a jugar. Además, nos preguntamos: ¿qué factores en el proceso de aprender a jugar son relevantes para el ensamblaje de precisión? Proponemos Play2Perfect, un marco de RL para preentrenamiento independiente de la tarea mediante juego con diversos objetos y metas, que luego se perfecciona en ensamblajes de precisión. El objetivo del juego es adquirir conocimientos previos de manipulación reutilizables, como agarre, reorientación en la mano y alcance de pose. El ajuste fino adapta luego estos conocimientos previos generales al ensamblaje, enfocando la exploración en las interacciones finales de alta precisión y ricas en contacto necesarias para el éxito. Estudiamos sistemáticamente opciones clave de diseño en el preentrenamiento mediante juego, incluyendo la diversidad de objetos, el objetivo de entrenamiento, la diversidad de trayectorias y la precisión de la meta. Demostramos que nuestros conocimientos previos son 33 veces más eficientes en términos de muestras que el entrenamiento de RL desde cero, incluso cuando se proporcionan recompensas densas de múltiples etapas. Logramos transferencia sim-to-real sin ejemplos, alcanzando un 60% de éxito en inserciones ajustadas con solo 0.5 mm de holgura de contacto, y más del 50% de éxito en ensamblajes de múltiples partes y atornillados de largo horizonte.

English

Multi-fingered robots promise the speed and dexterity of human hands, yet challenging problems such as precise assembly have remained out of reach. These tasks are contact-rich, making data collection for imitation learning difficult, and sparse-reward, making direct exploration with reinforcement learning (RL) intractable. Consequently, prior work has made progress by structuring the problem with specialized grippers, tool attachments, and environment fixtures. In this work, we argue that before a robot can perfect precise assembly, it must first learn to play. We further ask the question: what factors in the process of learning to play matter for precise assembly? We propose Play2Perfect, an RL framework for task-agnostic pretraining through play on diverse objects and goals, which is then perfected on precise assembly. The goal of play is to acquire reusable manipulation priors, such as grasping, in-hand reorientation and pose reaching. Finetuning then adapts this general prior to assembly, focusing exploration on the final contact-rich, high-precision interactions needed for success. We systematically study key design choices in play pretraining, including object diversity, training objective, trajectory diversity, and goal precision. We show that our prior is 33x more sample-efficient than RL training from scratch, even when provided with dense, multi-stage rewards. We demonstrate zero-shot sim-to-real transfer, achieving 60% success on tight insertions with only 0.5 mm contact clearance, and over 50% success on long-horizon multi-part assembly and screwing.