GNFactor: 일반화 가능한 신경 특징 필드를 활용한 다중 작업 실물 로봇 학습

GNFactor: Multi-Task Real Robot Learning with Generalizable Neural Feature Fields

August 31, 2023

저자: Yanjie Ze, Ge Yan, Yueh-Hua Wu, Annabella Macaluso, Yuying Ge, Jianglong Ye, Nicklas Hansen, Li Erran Li, Xiaolong Wang

cs.AI

초록

구조화되지 않은 실제 환경에서 시각적 관찰을 통해 다양한 조작 작업을 수행할 수 있는 에이전트를 개발하는 것은 로보틱스 분야의 오랜 과제입니다. 이를 달성하기 위해서는 로봇이 장면의 3D 구조와 의미론을 포괄적으로 이해해야 합니다. 본 연구에서는 일반화 가능한 신경 특징 필드(Generalizable Neural Feature Fields)를 활용한 다중 작업 로봇 조작을 위한 시각적 행동 복제 에이전트인 GNFactor를 제안합니다. GNFactor는 재구성 모듈로 일반화 가능한 신경 필드(GNF)를, 의사결정 모듈로 Perceiver Transformer를 공유된 심층 3D 복셀 표현을 통해 공동으로 최적화합니다. 3D에서 의미론을 통합하기 위해 재구성 모듈은 시각-언어 기반 모델(예: Stable Diffusion)을 사용하여 풍부한 의미론적 정보를 심층 3D 복셀에 증류합니다. GNFactor를 3가지 실제 로봇 작업에서 평가하고, 제한된 수의 데모를 통해 10가지 RLBench 작업에 대한 상세한 절제 연구를 수행합니다. GNFactor는 기존의 최첨단 방법들에 비해 학습된 작업과 새로운 작업 모두에서 상당한 성능 향상을 보여주며, GNFactor의 강력한 일반화 능력을 입증합니다. 프로젝트 웹사이트는 https://yanjieze.com/GNFactor/ 에서 확인할 수 있습니다.

English

It is a long-standing problem in robotics to develop agents capable of executing diverse manipulation tasks from visual observations in unstructured real-world environments. To achieve this goal, the robot needs to have a comprehensive understanding of the 3D structure and semantics of the scene. In this work, we present GNFactor, a visual behavior cloning agent for multi-task robotic manipulation with Generalizable Neural feature Fields. GNFactor jointly optimizes a generalizable neural field (GNF) as a reconstruction module and a Perceiver Transformer as a decision-making module, leveraging a shared deep 3D voxel representation. To incorporate semantics in 3D, the reconstruction module utilizes a vision-language foundation model (e.g., Stable Diffusion) to distill rich semantic information into the deep 3D voxel. We evaluate GNFactor on 3 real robot tasks and perform detailed ablations on 10 RLBench tasks with a limited number of demonstrations. We observe a substantial improvement of GNFactor over current state-of-the-art methods in seen and unseen tasks, demonstrating the strong generalization ability of GNFactor. Our project website is https://yanjieze.com/GNFactor/ .