GET-Zero: Grafische Belichaming Transformer voor Zero-shot Belichamingsgeneralizatie
GET-Zero: Graph Embodiment Transformer for Zero-shot Embodiment Generalization
July 20, 2024
Auteurs: Austin Patel, Shuran Song
cs.AI
Samenvatting
Dit artikel introduceert GET-Zero, een modelarchitectuur en trainingsprocedure voor het leren van een belichaamingsbewust controlebeleid dat zich onmiddellijk kan aanpassen aan nieuwe hardwareveranderingen zonder hertraining. Hiervoor presenteren we de Graph Embodiment Transformer (GET), een transformermodel dat de connectiviteit van de belichaamingsgrafiek benut als een geleerde structurele bias in het aandachtmechanisme. We gebruiken gedragsklonering om demonstratiegegevens van belichaamingsspecifieke expertbeleid te destilleren in een belichaamingsbewust GET-model dat zich baseert op de hardwareconfiguratie van de robot om controlebeslissingen te nemen. We voeren een casestudy uit over een behendige taak van het roteren van een object in de hand met verschillende configuraties van een viervingerige robothand waarbij gewrichten zijn verwijderd en waarbij de lengte van de schakels is verlengd. Het gebruik van het GET-model in combinatie met een zelfmodelleringsverlies stelt GET-Zero in staat om zero-shot te generaliseren naar ongeziene variaties in grafiekstructuur en schakellengte, wat een verbetering van 20% oplevert ten opzichte van baseline-methoden. Alle code en kwalitatieve videoresultaten zijn te vinden op https://get-zero-paper.github.io.
English
This paper introduces GET-Zero, a model architecture and training procedure
for learning an embodiment-aware control policy that can immediately adapt to
new hardware changes without retraining. To do so, we present Graph Embodiment
Transformer (GET), a transformer model that leverages the embodiment graph
connectivity as a learned structural bias in the attention mechanism. We use
behavior cloning to distill demonstration data from embodiment-specific expert
policies into an embodiment-aware GET model that conditions on the hardware
configuration of the robot to make control decisions. We conduct a case study
on a dexterous in-hand object rotation task using different configurations of a
four-fingered robot hand with joints removed and with link length extensions.
Using the GET model along with a self-modeling loss enables GET-Zero to
zero-shot generalize to unseen variation in graph structure and link length,
yielding a 20% improvement over baseline methods. All code and qualitative
video results are on https://get-zero-paper.github.io