Trasformatori di Algebra Geometrica

Geometric Algebra Transformers

May 28, 2023

Autori: Johann Brehmer, Pim de Haan, Sönke Behrends, Taco Cohen

cs.AI

Abstract

I problemi che coinvolgono dati geometrici emergono in una varietà di campi, tra cui visione artificiale, robotica, chimica e fisica. Tali dati possono assumere numerose forme, come punti, vettori direzionali, piani o trasformazioni, ma fino ad oggi non esiste un'unica architettura che possa essere applicata a una così ampia varietà di tipi geometrici rispettandone le simmetrie. In questo articolo introduciamo il Geometric Algebra Transformer (GATr), un'architettura generica per dati geometrici. GATr rappresenta input, output e stati nascosti nell'algebra geometrica proiettiva, che offre una rappresentazione efficiente in uno spazio vettoriale a 16 dimensioni di oggetti geometrici comuni, nonché di operatori che agiscono su di essi. GATr è equivariante rispetto a E(3), il gruppo di simmetria dello spazio euclideo tridimensionale. In quanto trasformatore, GATr è scalabile, espressivo e versatile. Negli esperimenti di modellazione n-body e pianificazione robotica, GATr mostra significativi miglioramenti rispetto ai baseline non geometrici.

English

Problems involving geometric data arise in a variety of fields, including computer vision, robotics, chemistry, and physics. Such data can take numerous forms, such as points, direction vectors, planes, or transformations, but to date there is no single architecture that can be applied to such a wide variety of geometric types while respecting their symmetries. In this paper we introduce the Geometric Algebra Transformer (GATr), a general-purpose architecture for geometric data. GATr represents inputs, outputs, and hidden states in the projective geometric algebra, which offers an efficient 16-dimensional vector space representation of common geometric objects as well as operators acting on them. GATr is equivariant with respect to E(3), the symmetry group of 3D Euclidean space. As a transformer, GATr is scalable, expressive, and versatile. In experiments with n-body modeling and robotic planning, GATr shows strong improvements over non-geometric baselines.