GET-Zero: Trasformatore di Incorporazione Grafica per la Generalizzazione Zero-shot dell'Incorporazione
GET-Zero: Graph Embodiment Transformer for Zero-shot Embodiment Generalization
July 20, 2024
Autori: Austin Patel, Shuran Song
cs.AI
Abstract
Questo articolo introduce GET-Zero, un'architettura di modello e una procedura di addestramento per apprendere una politica di controllo consapevole dell'embodiment in grado di adattarsi immediatamente a nuovi cambiamenti hardware senza necessità di riaddestramento. A tal fine, presentiamo il Graph Embodiment Transformer (GET), un modello transformer che sfrutta la connettività del grafo di embodiment come bias strutturale appreso nel meccanismo di attenzione. Utilizziamo il behavior cloning per distillare dati dimostrativi da politiche esperte specifiche per l'embodiment in un modello GET consapevole dell'embodiment, che condiziona le decisioni di controllo sulla configurazione hardware del robot. Condividiamo uno studio di caso su un compito di rotazione di oggetti in mano con destrezza, utilizzando diverse configurazioni di una mano robotica a quattro dita con giunti rimossi e con estensioni della lunghezza dei collegamenti. L'uso del modello GET insieme a una funzione di perdita di auto-modellazione consente a GET-Zero di generalizzare in zero-shot a variazioni non viste nella struttura del grafo e nella lunghezza dei collegamenti, ottenendo un miglioramento del 20% rispetto ai metodi di base. Tutto il codice e i risultati video qualitativi sono disponibili su https://get-zero-paper.github.io.
English
This paper introduces GET-Zero, a model architecture and training procedure
for learning an embodiment-aware control policy that can immediately adapt to
new hardware changes without retraining. To do so, we present Graph Embodiment
Transformer (GET), a transformer model that leverages the embodiment graph
connectivity as a learned structural bias in the attention mechanism. We use
behavior cloning to distill demonstration data from embodiment-specific expert
policies into an embodiment-aware GET model that conditions on the hardware
configuration of the robot to make control decisions. We conduct a case study
on a dexterous in-hand object rotation task using different configurations of a
four-fingered robot hand with joints removed and with link length extensions.
Using the GET model along with a self-modeling loss enables GET-Zero to
zero-shot generalize to unseen variation in graph structure and link length,
yielding a 20% improvement over baseline methods. All code and qualitative
video results are on https://get-zero-paper.github.io