幾何代数トランスフォーマー
Geometric Algebra Transformers
May 28, 2023
著者: Johann Brehmer, Pim de Haan, Sönke Behrends, Taco Cohen
cs.AI
要旨
幾何学的データを扱う問題は、コンピュータビジョン、ロボティクス、化学、物理学など、さまざまな分野で発生します。このようなデータは、点、方向ベクトル、平面、変換など、多様な形式を取り得ますが、これまで、これほど多様な幾何学的タイプに対してその対称性を尊重しながら適用できる単一のアーキテクチャは存在しませんでした。本論文では、幾何学的データのための汎用アーキテクチャであるGeometric Algebra Transformer（GATr）を紹介します。GATrは、入力、出力、および隠れ状態を射影幾何代数で表現します。これにより、一般的な幾何学的オブジェクトおよびそれらに作用する演算子を効率的な16次元ベクトル空間で表現できます。GATrは、3次元ユークリッド空間の対称群であるE(3)に対して等変性を持ちます。トランスフォーマーとして、GATrはスケーラブルで表現力が高く、汎用性があります。n体モデリングとロボット計画の実験において、GATrは非幾何学的なベースラインに対して大幅な改善を示しました。
English
Problems involving geometric data arise in a variety of fields, including
computer vision, robotics, chemistry, and physics. Such data can take numerous
forms, such as points, direction vectors, planes, or transformations, but to
date there is no single architecture that can be applied to such a wide variety
of geometric types while respecting their symmetries. In this paper we
introduce the Geometric Algebra Transformer (GATr), a general-purpose
architecture for geometric data. GATr represents inputs, outputs, and hidden
states in the projective geometric algebra, which offers an efficient
16-dimensional vector space representation of common geometric objects as well
as operators acting on them. GATr is equivariant with respect to E(3), the
symmetry group of 3D Euclidean space. As a transformer, GATr is scalable,
expressive, and versatile. In experiments with n-body modeling and robotic
planning, GATr shows strong improvements over non-geometric baselines.