Geometrische Algebra Transformers
Geometric Algebra Transformers
May 28, 2023
Auteurs: Johann Brehmer, Pim de Haan, Sönke Behrends, Taco Cohen
cs.AI
Samenvatting
Problemen met geometrische gegevens komen voor in diverse vakgebieden, waaronder computervisie, robotica, scheikunde en natuurkunde. Dergelijke gegevens kunnen verschillende vormen aannemen, zoals punten, richtingsvectoren, vlakken of transformaties, maar tot op heden bestaat er geen enkele architectuur die kan worden toegepast op zo'n breed scala aan geometrische typen terwijl hun symmetrieën worden gerespecteerd. In dit artikel introduceren we de Geometric Algebra Transformer (GATr), een algemene architectuur voor geometrische gegevens. GATr representeert invoer, uitvoer en verborgen toestanden in de projectieve geometrische algebra, die een efficiënte 16-dimensionale vectorruimte-representatie biedt van veelvoorkomende geometrische objecten en operatoren die daarop inwerken. GATr is equivariant ten opzichte van E(3), de symmetriegroep van de 3D Euclidische ruimte. Als transformer is GATr schaalbaar, expressief en veelzijdig. In experimenten met n-lichaamsmodellering en robotplanning laat GATr sterke verbeteringen zien ten opzichte van niet-geometrische basislijnen.
English
Problems involving geometric data arise in a variety of fields, including
computer vision, robotics, chemistry, and physics. Such data can take numerous
forms, such as points, direction vectors, planes, or transformations, but to
date there is no single architecture that can be applied to such a wide variety
of geometric types while respecting their symmetries. In this paper we
introduce the Geometric Algebra Transformer (GATr), a general-purpose
architecture for geometric data. GATr represents inputs, outputs, and hidden
states in the projective geometric algebra, which offers an efficient
16-dimensional vector space representation of common geometric objects as well
as operators acting on them. GATr is equivariant with respect to E(3), the
symmetry group of 3D Euclidean space. As a transformer, GATr is scalable,
expressive, and versatile. In experiments with n-body modeling and robotic
planning, GATr shows strong improvements over non-geometric baselines.