Play2Perfect: 정밀 조립을 위한 손재주 놀이 사전 학습에서 중요한 것은 무엇인가?

초록

다중 손가락 로봇은 인간 손의 속도와 손재주를 제공할 것을 약속하지만, 정밀 조립과 같은 까다로운 문제는 여전히 해결하기 어려운 과제로 남아 있다. 이러한 작업은 접촉이 많아 모방 학습을 위한 데이터 수집이 어렵고, 보상이 희소하여 강화 학습을 통한 직접적인 탐색이 다루기 어렵다. 따라서 기존 연구에서는 전용 그리퍼, 도구 부착물, 환경 고정물을 사용하여 문제를 구조화함으로써 진전을 이루었다. 본 연구에서는 로봇이 정밀 조립을 완벽하게 수행하기 전에 먼저 놀이를 배워야 한다고 주장한다. 또한, 놀이 학습 과정에서 정밀 조립에 영향을 미치는 요인이 무엇인지 질문을 제기한다. 우리는 다양한 객체와 목표에 대한 놀이를 통해 작업에 구애받지 않는 사전 학습을 수행한 후, 정밀 조립에 특화된 강화 학습 프레임워크인 Play2Perfect를 제안한다. 놀이의 목표는 파지, 손 안에서의 재배치, 자세 도달과 같은 재사용 가능한 조작 사전 지식을 획득하는 것이다. 이후 미세 조정을 통해 이 일반적인 사전 지식을 조립에 적용하여, 성공에 필요한 최종적인 접촉이 많고 고정밀 상호작용에 탐색을 집중시킨다. 우리는 놀이 사전 학습에서 객체 다양성, 훈련 목표, 궤적 다양성, 목표 정밀도 등 주요 설계 선택을 체계적으로 연구한다. 우리의 사전 지식은 밀집된 다단계 보상이 제공되더라도 처음부터 강화 학습을 훈련하는 것보다 33배 더 샘플 효율적임을 보여준다. 또한, 제로샷 시뮬레이션-실제 전이를 입증하여 접촉 간격이 0.5mm에 불과한 밀착 삽입에서 60%의 성공률을 달성하고, 장기 다중 부품 조립 및 나사 조임에서 50% 이상의 성공률을 달성한다.

English

Multi-fingered robots promise the speed and dexterity of human hands, yet challenging problems such as precise assembly have remained out of reach. These tasks are contact-rich, making data collection for imitation learning difficult, and sparse-reward, making direct exploration with reinforcement learning (RL) intractable. Consequently, prior work has made progress by structuring the problem with specialized grippers, tool attachments, and environment fixtures. In this work, we argue that before a robot can perfect precise assembly, it must first learn to play. We further ask the question: what factors in the process of learning to play matter for precise assembly? We propose Play2Perfect, an RL framework for task-agnostic pretraining through play on diverse objects and goals, which is then perfected on precise assembly. The goal of play is to acquire reusable manipulation priors, such as grasping, in-hand reorientation and pose reaching. Finetuning then adapts this general prior to assembly, focusing exploration on the final contact-rich, high-precision interactions needed for success. We systematically study key design choices in play pretraining, including object diversity, training objective, trajectory diversity, and goal precision. We show that our prior is 33x more sample-efficient than RL training from scratch, even when provided with dense, multi-stage rewards. We demonstrate zero-shot sim-to-real transfer, achieving 60% success on tight insertions with only 0.5 mm contact clearance, and over 50% success on long-horizon multi-part assembly and screwing.