Atenção Funcional: De Afinidades Par a Par a Correspondências Funcionais

Resumo

Aprender mapeamentos entre espaços de funções de dimensão infinita, ou aprendizado de operadores, é essencial para muitas aplicações de aprendizado de máquina. Embora operadores baseados em transformadores sejam populares, eles frequentemente dependem de atenção token a token. Esses métodos tratam campos contínuos como tokens discretos e geralmente ignoram a estrutura funcional global. Apresentamos a Atenção Funcional, que reinterpreta a atenção como uma correspondência funcional entre bases adaptativas. Inspirado por mapas funcionais geométricos, nosso método substitui afinidades softmax por operadores lineares estruturados. Isso resulta em uma representação compacta, generalizável e invariante à resolução que captura explicitamente dependências globais. Experimentos demonstram que a Atenção Funcional pode igualar o desempenho do estado da arte em muitas tarefas de aprendizado de operadores, incluindo resolução de EDPs, segmentação 3D e regressão, enquanto permanece robusta a discretizações variadas. A página do projeto está disponível em https://github.com/xjffff/FUNCATTN.

English

Learning mappings between infinite-dimensional function spaces, or operator learning, is essential for many machine learning applications. Although transformer-based operators are popular, they often rely on token-wise attention. These methods treat continuous fields as discrete tokens and usually ignore the global functional structure. We introduce Functional Attention, which reinterprets attention as a functional correspondence between adaptive bases. Inspired by geometric functional maps, our method replaces softmax affinities with structured linear operators. This yields a compact, generalizable, resolution-invariant representation that explicitly captures global dependencies. Experiments demonstrate that Functional Attention can match state-of-the-art performance in many operator learning tasks, including solving PDEs, 3D segmentation, and regression, while remaining robust to varying discretizations. Project page is available at https://github.com/xjffff/FUNCATTN.