GET-Zero: Graph-Embodiment-Transformer für Zero-Shot-Verkörperung Generalisierung

GET-Zero: Graph Embodiment Transformer for Zero-shot Embodiment Generalization

July 20, 2024

Autoren: Austin Patel, Shuran Song

cs.AI

Zusammenfassung

Dieses Papier stellt GET-Zero vor, eine Modellarchitektur und Schulungsverfahren zur Erlangung einer verkörperungsbewussten Steuerungsstrategie, die sich unmittelbar an neue Hardwareänderungen anpassen kann, ohne erneut trainiert werden zu müssen. Hierfür präsentieren wir den Graph Embodiment Transformer (GET), ein Transformer-Modell, das die Verkörperungsgraphen-Konnektivität als erlernte strukturelle Voreingenommenheit im Aufmerksamkeitsmechanismus nutzt. Wir verwenden Verhaltensklonierung, um Demonstrationsdaten von verkörperungsspezifischen Expertenstrategien in ein verkörperungsbewusstes GET-Modell zu destillieren, das auf die Hardwarekonfiguration des Roboters konditioniert ist, um Steuerungsentscheidungen zu treffen. Wir führen eine Fallstudie zu einer geschickten Objektdrehung in der Hand durch, wobei verschiedene Konfigurationen einer vierfingrigen Roboterhand mit entfernten Gelenken und mit Verlängerungen der Verbindungslänge verwendet werden. Durch die Verwendung des GET-Modells zusammen mit einem Selbstmodellierungsverlust ermöglicht GET-Zero eine Null-Schuss-Verallgemeinerung auf unerkannte Variationen in der Graphenstruktur und Verbindungslänge, was zu einer 20%igen Verbesserung gegenüber Basislinienmethoden führt. Der gesamte Code und qualitative Videobeweise sind auf https://get-zero-paper.github.io verfügbar.

English

This paper introduces GET-Zero, a model architecture and training procedure for learning an embodiment-aware control policy that can immediately adapt to new hardware changes without retraining. To do so, we present Graph Embodiment Transformer (GET), a transformer model that leverages the embodiment graph connectivity as a learned structural bias in the attention mechanism. We use behavior cloning to distill demonstration data from embodiment-specific expert policies into an embodiment-aware GET model that conditions on the hardware configuration of the robot to make control decisions. We conduct a case study on a dexterous in-hand object rotation task using different configurations of a four-fingered robot hand with joints removed and with link length extensions. Using the GET model along with a self-modeling loss enables GET-Zero to zero-shot generalize to unseen variation in graph structure and link length, yielding a 20% improvement over baseline methods. All code and qualitative video results are on https://get-zero-paper.github.io