Play2Perfect: Что важно в предварительном обучении ловкой игре для точной сборки?

Аннотация

Многофункциональные роботы обещают скорость и ловкость человеческих рук, однако сложные задачи, такие как точная сборка, остаются недостижимыми. Эти задачи требуют работы с контактами, что затрудняет сбор данных для обучения с подражанием, и имеют разреженное вознаграждение, что делает прямое исследование с помощью обучения с подкреплением (RL) невыполнимым. В результате предыдущие работы добивались прогресса, структурируя задачу с помощью специализированных захватов, насадок для инструментов и элементов окружающей среды. В данной работе мы утверждаем, что прежде чем робот сможет овладеть точной сборкой, он должен сначала научиться играть. Мы также задаём вопрос: какие факторы в процессе обучения игре важны для точной сборки? Мы предлагаем Play2Perfect — фреймворк RL для независимой от задачи предварительной подготовки через игру с разнообразными объектами и целями, который затем совершенствуется для точной сборки. Цель игры — приобрести повторно используемые манипуляционные приоры, такие как захват, переориентация в руке и достижение позы. Затем дообучение адаптирует этот общий приор к сборке, фокусируя исследование на финальных контактных высокоточных взаимодействиях, необходимых для успеха. Мы систематически изучаем ключевые проектные решения в предварительной подготовке через игру, включая разнообразие объектов, цель обучения, разнообразие траекторий и точность цели. Мы показываем, что наш приор в 33 раза более эффективен по данным, чем обучение RL с нуля, даже при наличии плотных многоэтапных вознаграждений. Мы демонстрируем перенос из симуляции в реальность без дополнительного обучения, достигая 60% успеха при плотной вставке с зазором всего 0,5 мм и более 50% успеха при многоэтапной сборке и завинчивании нескольких деталей.

English

Multi-fingered robots promise the speed and dexterity of human hands, yet challenging problems such as precise assembly have remained out of reach. These tasks are contact-rich, making data collection for imitation learning difficult, and sparse-reward, making direct exploration with reinforcement learning (RL) intractable. Consequently, prior work has made progress by structuring the problem with specialized grippers, tool attachments, and environment fixtures. In this work, we argue that before a robot can perfect precise assembly, it must first learn to play. We further ask the question: what factors in the process of learning to play matter for precise assembly? We propose Play2Perfect, an RL framework for task-agnostic pretraining through play on diverse objects and goals, which is then perfected on precise assembly. The goal of play is to acquire reusable manipulation priors, such as grasping, in-hand reorientation and pose reaching. Finetuning then adapts this general prior to assembly, focusing exploration on the final contact-rich, high-precision interactions needed for success. We systematically study key design choices in play pretraining, including object diversity, training objective, trajectory diversity, and goal precision. We show that our prior is 33x more sample-efficient than RL training from scratch, even when provided with dense, multi-stage rewards. We demonstrate zero-shot sim-to-real transfer, achieving 60% success on tight insertions with only 0.5 mm contact clearance, and over 50% success on long-horizon multi-part assembly and screwing.