RVT：3D物体操作のためのロボティック・ビュー・トランスフォーマー

要旨

3Dオブジェクト操作において、明示的な3D表現を構築する手法は、カメラ画像のみに依存する手法よりも優れた性能を発揮します。しかし、ボクセルのような明示的な3D表現を使用することは、大きな計算コストを伴い、スケーラビリティに悪影響を及ぼします。本研究では、スケーラブルかつ高精度な3D操作のためのマルチビュートランスフォーマーであるRVTを提案します。RVTの主な特徴は、ビュー間で情報を集約するアテンションメカニズムと、ロボット作業空間周辺の仮想ビューからカメラ入力を再レンダリングすることです。シミュレーションでは、単一のRVTモデルが18のRLBenchタスクと249のタスクバリエーションにおいて良好に機能し、既存の最先端手法（PerAct）よりも26%高い相対的成功率を達成しました。また、同じ性能を達成するためにPerActよりも36倍高速に学習し、PerActの2.3倍の推論速度を実現しました。さらに、RVTは、各タスクあたりわずか数回（sim10）のデモンストレーションで、現実世界での多様な操作タスクを実行できます。視覚的な結果、コード、および学習済みモデルはhttps://robotic-view-transformer.github.io/で提供されています。

English

For 3D object manipulation, methods that build an explicit 3D representation perform better than those relying only on camera images. But using explicit 3D representations like voxels comes at large computing cost, adversely affecting scalability. In this work, we propose RVT, a multi-view transformer for 3D manipulation that is both scalable and accurate. Some key features of RVT are an attention mechanism to aggregate information across views and re-rendering of the camera input from virtual views around the robot workspace. In simulations, we find that a single RVT model works well across 18 RLBench tasks with 249 task variations, achieving 26% higher relative success than the existing state-of-the-art method (PerAct). It also trains 36X faster than PerAct for achieving the same performance and achieves 2.3X the inference speed of PerAct. Further, RVT can perform a variety of manipulation tasks in the real world with just a few (sim10) demonstrations per task. Visual results, code, and trained model are provided at https://robotic-view-transformer.github.io/.

RVT：3D物体操作のためのロボティック・ビュー・トランスフォーマー

RVT: Robotic View Transformer for 3D Object Manipulation

要旨

Support