어디서나 조작을 학습하기: 강화 학습을 위한 시각적 일반화 프레임워크

Learning to Manipulate Anywhere: A Visual Generalizable Framework For Reinforcement Learning

July 22, 2024

저자: Zhecheng Yuan, Tianming Wei, Shuiqi Cheng, Gu Zhang, Yuanpei Chen, Huazhe Xu

cs.AI

초록

시각운동 로봇이 다양한 오픈 월드 시나리오에서 작동할 수 있는 일반화 능력을 부여할 수 있을까요? 본 논문에서는 시각 강화 학습에 맞춰 설계된 일반화 가능한 프레임워크인 Maniwhere를 제안합니다. 이를 통해 훈련된 로봇 정책이 여러 시각적 방해 유형의 조합에 걸쳐 일반화할 수 있도록 합니다. 구체적으로, 우리는 다중 뷰 표현 학습 접근법을 Spatial Transformer Network(STN) 모듈과 융합하여 다양한 시점 간의 공유 의미 정보와 대응 관계를 포착합니다. 또한, 커리큘럼 기반 무작위화 및 증강 접근법을 사용하여 RL 훈련 과정을 안정화하고 시각적 일반화 능력을 강화합니다. Maniwhere의 효과를 입증하기 위해, 우리는 관절형 물체, 양손 조작, 그리고 정교한 손 조작 작업을 포함한 8가지 작업을 세심하게 설계하여 3가지 하드웨어 플랫폼에서 Maniwhere의 강력한 시각적 일반화 및 시뮬레이션-실제 전이 능력을 보여줍니다. 우리의 실험 결과, Maniwhere는 기존의 최첨단 방법들을 크게 능가함을 보여줍니다. 비디오는 https://gemcollector.github.io/maniwhere/에서 제공됩니다.

English

Can we endow visuomotor robots with generalization capabilities to operate in diverse open-world scenarios? In this paper, we propose Maniwhere, a generalizable framework tailored for visual reinforcement learning, enabling the trained robot policies to generalize across a combination of multiple visual disturbance types. Specifically, we introduce a multi-view representation learning approach fused with Spatial Transformer Network (STN) module to capture shared semantic information and correspondences among different viewpoints. In addition, we employ a curriculum-based randomization and augmentation approach to stabilize the RL training process and strengthen the visual generalization ability. To exhibit the effectiveness of Maniwhere, we meticulously design 8 tasks encompassing articulate objects, bi-manual, and dexterous hand manipulation tasks, demonstrating Maniwhere's strong visual generalization and sim2real transfer abilities across 3 hardware platforms. Our experiments show that Maniwhere significantly outperforms existing state-of-the-art methods. Videos are provided at https://gemcollector.github.io/maniwhere/.