Transformadores de Álgebra Geométrica

Geometric Algebra Transformers

May 28, 2023

Autores: Johann Brehmer, Pim de Haan, Sönke Behrends, Taco Cohen

cs.AI

Resumen

Los problemas que involucran datos geométricos surgen en diversos campos, como la visión por computadora, la robótica, la química y la física. Estos datos pueden adoptar múltiples formas, como puntos, vectores de dirección, planos o transformaciones, pero hasta la fecha no existe una arquitectura única que pueda aplicarse a una variedad tan amplia de tipos geométricos respetando sus simetrías. En este artículo presentamos el Geometric Algebra Transformer (GATr), una arquitectura de propósito general para datos geométricos. GATr representa las entradas, salidas y estados ocultos en el álgebra geométrica proyectiva, la cual ofrece una representación eficiente en un espacio vectorial de 16 dimensiones para objetos geométricos comunes, así como para operadores que actúan sobre ellos. GATr es equivariante respecto a E(3), el grupo de simetría del espacio euclidiano tridimensional. Como transformador, GATr es escalable, expresivo y versátil. En experimentos de modelado de sistemas de n cuerpos y planificación robótica, GATr muestra mejoras significativas frente a líneas base no geométricas.

English

Problems involving geometric data arise in a variety of fields, including computer vision, robotics, chemistry, and physics. Such data can take numerous forms, such as points, direction vectors, planes, or transformations, but to date there is no single architecture that can be applied to such a wide variety of geometric types while respecting their symmetries. In this paper we introduce the Geometric Algebra Transformer (GATr), a general-purpose architecture for geometric data. GATr represents inputs, outputs, and hidden states in the projective geometric algebra, which offers an efficient 16-dimensional vector space representation of common geometric objects as well as operators acting on them. GATr is equivariant with respect to E(3), the symmetry group of 3D Euclidean space. As a transformer, GATr is scalable, expressive, and versatile. In experiments with n-body modeling and robotic planning, GATr shows strong improvements over non-geometric baselines.