RVT: 3D 객체 조작을 위한 로봇 시점 변환기

초록

3D 객체 조작을 위해 명시적인 3D 표현을 구축하는 방법은 카메라 이미지에만 의존하는 방법보다 더 나은 성능을 보인다. 그러나 복셀과 같은 명시적인 3D 표현을 사용하는 것은 큰 계산 비용을 수반하며, 이는 확장성에 부정적인 영향을 미친다. 본 연구에서는 확장성과 정확성을 모두 갖춘 3D 조작을 위한 다중 뷰 트랜스포머인 RVT를 제안한다. RVT의 주요 특징으로는 여러 뷰 간의 정보를 집계하기 위한 어텐션 메커니즘과 로봇 작업 공간 주변의 가상 뷰에서 카메라 입력을 재렌더링하는 기능이 있다. 시뮬레이션에서 단일 RVT 모델이 249개의 작업 변형을 포함한 18개의 RLBench 작업에서 잘 작동하며, 기존의 최신 방법(PerAct)보다 26% 더 높은 상대적 성공률을 달성함을 확인했다. 또한 동일한 성능을 달성하기 위해 PerAct보다 36배 빠르게 학습하며, PerAct의 추론 속도의 2.3배를 달성한다. 더 나아가, RVT는 각 작업당 단 몇 번(시뮬10)의 데모만으로도 실제 세계에서 다양한 조작 작업을 수행할 수 있다. 시각적 결과, 코드, 그리고 학습된 모델은 https://robotic-view-transformer.github.io/에서 제공된다.

English

For 3D object manipulation, methods that build an explicit 3D representation perform better than those relying only on camera images. But using explicit 3D representations like voxels comes at large computing cost, adversely affecting scalability. In this work, we propose RVT, a multi-view transformer for 3D manipulation that is both scalable and accurate. Some key features of RVT are an attention mechanism to aggregate information across views and re-rendering of the camera input from virtual views around the robot workspace. In simulations, we find that a single RVT model works well across 18 RLBench tasks with 249 task variations, achieving 26% higher relative success than the existing state-of-the-art method (PerAct). It also trains 36X faster than PerAct for achieving the same performance and achieves 2.3X the inference speed of PerAct. Further, RVT can perform a variety of manipulation tasks in the real world with just a few (sim10) demonstrations per task. Visual results, code, and trained model are provided at https://robotic-view-transformer.github.io/.

RVT: 3D 객체 조작을 위한 로봇 시점 변환기

RVT: Robotic View Transformer for 3D Object Manipulation

초록

Support