GNFactor: 一般化可能なニューラル特徴フィールドを用いたマルチタスク実ロボット学習

要旨

ロボット工学において、非構造化された実世界環境における視覚観察から多様な操作タスクを実行可能なエージェントを開発することは、長年の課題です。この目標を達成するためには、ロボットがシーンの3D構造と意味論を包括的に理解する必要があります。本研究では、Generalizable Neural Feature Fieldsを用いたマルチタスクロボット操作のための視覚的行動クローニングエージェントであるGNFactorを提案します。GNFactorは、再構成モジュールとして一般化可能なニューラルフィールド（GNF）と、意思決定モジュールとしてPerceiver Transformerを共同で最適化し、共有された深層3Dボクセル表現を活用します。3Dに意味論を組み込むために、再構成モジュールは視覚言語基盤モデル（例：Stable Diffusion）を利用して、豊富な意味情報を深層3Dボクセルに蒸留します。GNFactorを3つの実ロボットタスクで評価し、限られたデモンストレーションを用いて10のRLBenchタスクで詳細なアブレーションを行いました。その結果、GNFactorは既存の最先端手法を大幅に上回り、見たことのあるタスクと見たことのないタスクの両方で強い汎化能力を示しました。プロジェクトのウェブサイトはhttps://yanjieze.com/GNFactor/です。

English

It is a long-standing problem in robotics to develop agents capable of executing diverse manipulation tasks from visual observations in unstructured real-world environments. To achieve this goal, the robot needs to have a comprehensive understanding of the 3D structure and semantics of the scene. In this work, we present GNFactor, a visual behavior cloning agent for multi-task robotic manipulation with Generalizable Neural feature Fields. GNFactor jointly optimizes a generalizable neural field (GNF) as a reconstruction module and a Perceiver Transformer as a decision-making module, leveraging a shared deep 3D voxel representation. To incorporate semantics in 3D, the reconstruction module utilizes a vision-language foundation model (e.g., Stable Diffusion) to distill rich semantic information into the deep 3D voxel. We evaluate GNFactor on 3 real robot tasks and perform detailed ablations on 10 RLBench tasks with a limited number of demonstrations. We observe a substantial improvement of GNFactor over current state-of-the-art methods in seen and unseen tasks, demonstrating the strong generalization ability of GNFactor. Our project website is https://yanjieze.com/GNFactor/ .

GNFactor: 一般化可能なニューラル特徴フィールドを用いたマルチタスク実ロボット学習

GNFactor: Multi-Task Real Robot Learning with Generalizable Neural Feature Fields

要旨

Support