Transformadores de Álgebra Geométrica
Geometric Algebra Transformers
May 28, 2023
Autores: Johann Brehmer, Pim de Haan, Sönke Behrends, Taco Cohen
cs.AI
Resumo
Problemas envolvendo dados geométricos surgem em uma variedade de áreas, incluindo visão computacional, robótica, química e física. Esses dados podem assumir diversas formas, como pontos, vetores de direção, planos ou transformações, mas até o momento não existe uma única arquitetura que possa ser aplicada a uma ampla variedade de tipos geométricos enquanto respeita suas simetrias. Neste artigo, apresentamos o Geometric Algebra Transformer (GATr), uma arquitetura de propósito geral para dados geométricos. O GATr representa entradas, saídas e estados ocultos na álgebra geométrica projetiva, que oferece uma representação eficiente em um espaço vetorial de 16 dimensões para objetos geométricos comuns, bem como para operadores que atuam sobre eles. O GATr é equivariante em relação a E(3), o grupo de simetria do espaço euclidiano tridimensional. Como um transformer, o GATr é escalável, expressivo e versátil. Em experimentos com modelagem de n-corpos e planejamento robótico, o GATr demonstra melhorias significativas em relação a baselines não geométricos.
English
Problems involving geometric data arise in a variety of fields, including
computer vision, robotics, chemistry, and physics. Such data can take numerous
forms, such as points, direction vectors, planes, or transformations, but to
date there is no single architecture that can be applied to such a wide variety
of geometric types while respecting their symmetries. In this paper we
introduce the Geometric Algebra Transformer (GATr), a general-purpose
architecture for geometric data. GATr represents inputs, outputs, and hidden
states in the projective geometric algebra, which offers an efficient
16-dimensional vector space representation of common geometric objects as well
as operators acting on them. GATr is equivariant with respect to E(3), the
symmetry group of 3D Euclidean space. As a transformer, GATr is scalable,
expressive, and versatile. In experiments with n-body modeling and robotic
planning, GATr shows strong improvements over non-geometric baselines.