Functionele Aandacht: Van Paarsgewijze Affiniteiten naar Functionele Correspondenties

Samenvatting

Het leren van afbeeldingen tussen oneindig-dimensionale functieruimten, of operatorleren, is essentieel voor veel machine learning-toepassingen. Hoewel op transformatoren gebaseerde operatoren populair zijn, vertrouwen ze vaak op token-gewijze aandacht. Deze methoden behandelen continue velden als discrete tokens en negeren meestal de globale functionele structuur. We introduceren Functionele Aandacht, die aandacht herinterpreteert als een functionele correspondentie tussen adaptieve basissen. Geïnspireerd door geometrische functionele afbeeldingen vervangt onze methode softmax-affiniteiten door gestructureerde lineaire operatoren. Dit levert een compacte, generaliseerbare, resolutie-invariante representatie op die expliciet globale afhankelijkheden vastlegt. Experimenten tonen aan dat Functionele Aandacht state-of-the-art prestaties kan evenaren in veel operatorleertaken, waaronder het oplossen van PDE's, 3D-segmentatie en regressie, terwijl het robuust blijft voor variërende discretisaties. De projectpagina is beschikbaar op https://github.com/xjffff/FUNCATTN.

English

Learning mappings between infinite-dimensional function spaces, or operator learning, is essential for many machine learning applications. Although transformer-based operators are popular, they often rely on token-wise attention. These methods treat continuous fields as discrete tokens and usually ignore the global functional structure. We introduce Functional Attention, which reinterprets attention as a functional correspondence between adaptive bases. Inspired by geometric functional maps, our method replaces softmax affinities with structured linear operators. This yields a compact, generalizable, resolution-invariant representation that explicitly captures global dependencies. Experiments demonstrate that Functional Attention can match state-of-the-art performance in many operator learning tasks, including solving PDEs, 3D segmentation, and regression, while remaining robust to varying discretizations. Project page is available at https://github.com/xjffff/FUNCATTN.