GET-Zero：ゼロショット身体化一般化のためのグラフ身体化トランスフォーマー

GET-Zero: Graph Embodiment Transformer for Zero-shot Embodiment Generalization

July 20, 2024

著者: Austin Patel, Shuran Song

cs.AI

要旨

本論文では、新しいハードウェアの変更に再学習なしで即座に適応できる具現化認識制御ポリシーを学習するためのモデルアーキテクチャと訓練手順であるGET-Zeroを紹介する。そのために、Graph Embodiment Transformer（GET）を提案する。これは、注意機構において具現化グラフの接続性を学習された構造的バイアスとして活用するトランスフォーマーモデルである。我々は、行動模倣を用いて、具現化固有のエキスパートポリシーからのデモンストレーションデータを、ロボットのハードウェア設定に基づいて制御決定を行う具現化認識GETモデルに蒸留する。4本指ロボットハンドの関節を除去したりリンク長を延長したりした異なる構成を用いて、器用な手内物体回転タスクに関するケーススタディを実施する。GETモデルと自己モデリング損失を組み合わせることで、GET-Zeroはグラフ構造とリンク長の未見の変動に対してゼロショット一般化が可能となり、ベースライン手法よりも20%の改善をもたらす。全てのコードと定性的なビデオ結果はhttps://get-zero-paper.github.ioで公開されている。

English

This paper introduces GET-Zero, a model architecture and training procedure for learning an embodiment-aware control policy that can immediately adapt to new hardware changes without retraining. To do so, we present Graph Embodiment Transformer (GET), a transformer model that leverages the embodiment graph connectivity as a learned structural bias in the attention mechanism. We use behavior cloning to distill demonstration data from embodiment-specific expert policies into an embodiment-aware GET model that conditions on the hardware configuration of the robot to make control decisions. We conduct a case study on a dexterous in-hand object rotation task using different configurations of a four-fingered robot hand with joints removed and with link length extensions. Using the GET model along with a self-modeling loss enables GET-Zero to zero-shot generalize to unseen variation in graph structure and link length, yielding a 20% improvement over baseline methods. All code and qualitative video results are on https://get-zero-paper.github.io