Геометрические Алгебраические Трансформеры
Geometric Algebra Transformers
May 28, 2023
Авторы: Johann Brehmer, Pim de Haan, Sönke Behrends, Taco Cohen
cs.AI
Аннотация
Задачи, связанные с геометрическими данными, возникают в различных областях, включая компьютерное зрение, робототехнику, химию и физику. Такие данные могут принимать множество форм, таких как точки, направляющие векторы, плоскости или преобразования, но на сегодняшний день не существует единой архитектуры, которая могла бы быть применена к такому широкому разнообразию геометрических типов, учитывая их симметрии. В данной статье мы представляем Geometric Algebra Transformer (GATr) — универсальную архитектуру для работы с геометрическими данными. GATr представляет входные данные, выходные данные и скрытые состояния в проективной геометрической алгебре, которая предлагает эффективное 16-мерное векторное пространство для представления распространённых геометрических объектов, а также операторов, действующих на них. GATr является эквивариантным относительно группы симметрии E(3) трёхмерного евклидова пространства. Как трансформер, GATr масштабируем, выразителен и универсален. В экспериментах с моделированием n-тел и планированием в робототехнике GATr демонстрирует значительные улучшения по сравнению с негеометрическими базовыми подходами.
English
Problems involving geometric data arise in a variety of fields, including
computer vision, robotics, chemistry, and physics. Such data can take numerous
forms, such as points, direction vectors, planes, or transformations, but to
date there is no single architecture that can be applied to such a wide variety
of geometric types while respecting their symmetries. In this paper we
introduce the Geometric Algebra Transformer (GATr), a general-purpose
architecture for geometric data. GATr represents inputs, outputs, and hidden
states in the projective geometric algebra, which offers an efficient
16-dimensional vector space representation of common geometric objects as well
as operators acting on them. GATr is equivariant with respect to E(3), the
symmetry group of 3D Euclidean space. As a transformer, GATr is scalable,
expressive, and versatile. In experiments with n-body modeling and robotic
planning, GATr shows strong improvements over non-geometric baselines.