Geometrische-Algebra-Transformer

Geometric Algebra Transformers

May 28, 2023

Autoren: Johann Brehmer, Pim de Haan, Sönke Behrends, Taco Cohen

cs.AI

Zusammenfassung

Probleme mit geometrischen Daten treten in verschiedenen Bereichen auf, darunter Computer Vision, Robotik, Chemie und Physik. Solche Daten können zahlreiche Formen annehmen, wie Punkte, Richtungsvektoren, Ebenen oder Transformationen, aber bis heute gibt es keine einzige Architektur, die auf eine so große Vielfalt geometrischer Typen angewendet werden kann, während gleichzeitig ihre Symmetrien respektiert werden. In diesem Artikel stellen wir den Geometric Algebra Transformer (GATr) vor, eine allgemeine Architektur für geometrische Daten. GATr repräsentiert Eingaben, Ausgaben und versteckte Zustände in der projektiven geometrischen Algebra, die eine effiziente 16-dimensionale Vektorraumdarstellung gängiger geometrischer Objekte sowie Operatoren, die auf sie wirken, bietet. GATr ist äquivariant in Bezug auf E(3), die Symmetriegruppe des dreidimensionalen euklidischen Raums. Als Transformer ist GATr skalierbar, ausdrucksstark und vielseitig. In Experimenten zur n-Körper-Modellierung und zur robotischen Planung zeigt GATr deutliche Verbesserungen gegenüber nicht-geometrischen Baselines.

English

Problems involving geometric data arise in a variety of fields, including computer vision, robotics, chemistry, and physics. Such data can take numerous forms, such as points, direction vectors, planes, or transformations, but to date there is no single architecture that can be applied to such a wide variety of geometric types while respecting their symmetries. In this paper we introduce the Geometric Algebra Transformer (GATr), a general-purpose architecture for geometric data. GATr represents inputs, outputs, and hidden states in the projective geometric algebra, which offers an efficient 16-dimensional vector space representation of common geometric objects as well as operators acting on them. GATr is equivariant with respect to E(3), the symmetry group of 3D Euclidean space. As a transformer, GATr is scalable, expressive, and versatile. In experiments with n-body modeling and robotic planning, GATr shows strong improvements over non-geometric baselines.