기하 대수 트랜스포머
Geometric Algebra Transformers
May 28, 2023
저자: Johann Brehmer, Pim de Haan, Sönke Behrends, Taco Cohen
cs.AI
초록
기하학적 데이터와 관련된 문제들은 컴퓨터 비전, 로보틱스, 화학, 물리학 등 다양한 분야에서 발생합니다. 이러한 데이터는 점, 방향 벡터, 평면 또는 변환 등 다양한 형태를 취할 수 있지만, 지금까지는 이러한 다양한 기하학적 유형을 그들의 대칭성을 존중하면서 적용할 수 있는 단일 아키텍처가 존재하지 않았습니다. 본 논문에서는 기하학적 데이터를 위한 일반적인 목적의 아키텍처인 Geometric Algebra Transformer(GATr)를 소개합니다. GATr은 투영 기하학적 대수(projective geometric algebra)를 통해 입력, 출력, 그리고 은닉 상태를 표현하며, 이는 일반적인 기하학적 객체와 그들에 작용하는 연산자들을 효율적인 16차원 벡터 공간으로 표현합니다. GATr은 3차원 유클리드 공간의 대칭 그룹인 E(3)에 대해 등변적(equivariant)입니다. 트랜스포머로서 GATr은 확장성이 뛰어나고 표현력이 풍부하며 다용도로 사용할 수 있습니다. n-체 모델링과 로보틱스 계획 실험에서 GATr은 비기하학적 베이스라인 대비 강력한 성능 향상을 보여줍니다.
English
Problems involving geometric data arise in a variety of fields, including
computer vision, robotics, chemistry, and physics. Such data can take numerous
forms, such as points, direction vectors, planes, or transformations, but to
date there is no single architecture that can be applied to such a wide variety
of geometric types while respecting their symmetries. In this paper we
introduce the Geometric Algebra Transformer (GATr), a general-purpose
architecture for geometric data. GATr represents inputs, outputs, and hidden
states in the projective geometric algebra, which offers an efficient
16-dimensional vector space representation of common geometric objects as well
as operators acting on them. GATr is equivariant with respect to E(3), the
symmetry group of 3D Euclidean space. As a transformer, GATr is scalable,
expressive, and versatile. In experiments with n-body modeling and robotic
planning, GATr shows strong improvements over non-geometric baselines.