Attention fonctionnelle : des affinités par paires aux correspondances fonctionnelles

Résumé

L'apprentissage de correspondances entre des espaces fonctionnels de dimension infinie, ou apprentissage d'opérateurs, est essentiel pour de nombreuses applications d'apprentissage automatique. Bien que les opérateurs basés sur les transformeurs soient populaires, ils reposent souvent sur une attention par token. Ces méthodes traitent les champs continus comme des tokens discrets et ignorent généralement la structure fonctionnelle globale. Nous introduisons l'Attention Fonctionnelle, qui réinterprète l'attention comme une correspondance fonctionnelle entre des bases adaptatives. Inspirée par les cartes fonctionnelles géométriques, notre méthode remplace les affinités softmax par des opérateurs linéaires structurés. Cela produit une représentation compacte, généralisable et invariante en résolution qui capture explicitement les dépendances globales. Les expériences montrent que l'Attention Fonctionnelle peut atteindre des performances de pointe dans de nombreuses tâches d'apprentissage d'opérateurs, notamment la résolution d'EDP, la segmentation 3D et la régression, tout en restant robuste face à des discrétisations variables. La page du projet est disponible à l'adresse https://github.com/xjffff/FUNCATTN.

English

Learning mappings between infinite-dimensional function spaces, or operator learning, is essential for many machine learning applications. Although transformer-based operators are popular, they often rely on token-wise attention. These methods treat continuous fields as discrete tokens and usually ignore the global functional structure. We introduce Functional Attention, which reinterprets attention as a functional correspondence between adaptive bases. Inspired by geometric functional maps, our method replaces softmax affinities with structured linear operators. This yields a compact, generalizable, resolution-invariant representation that explicitly captures global dependencies. Experiments demonstrate that Functional Attention can match state-of-the-art performance in many operator learning tasks, including solving PDEs, 3D segmentation, and regression, while remaining robust to varying discretizations. Project page is available at https://github.com/xjffff/FUNCATTN.